一种面向大视场高精度视觉测量的摄像机标定方法[发明专利]

(10)申请公布号 CN 102663763 A
(43)申请公布日 2012.09.12C N 102663763 A
*CN102663763A*
(21)申请号 201210125199.1
(22)申请日 2012.04.25
G06T 7/00(2006.01)
(71)申请人南京航空航天大学
地址210016 江苏省南京市白下区御道街
29号
(72)发明人张丽艳 杨博文 叶南 孙楠
(74)专利代理机构南京经纬专利商标代理有限
公司 32200
代理人
叶连生
(54)发明名称
一种面向大视场高精度视觉测量的摄像机标
定方法
(57)摘要
本发明提供一种面向大视场高精度视觉测量
的摄像机标定方法，属于测量、测试领域。

本发明
采用亮度自适应的单个红外LED 作为目标靶点，
将该靶点固定在三维数控机械装置上，并控制其
移动至预先设定的空间位置。

在三维空间构成一
个虚拟立体靶标。

每次靶点到达设定的空间位置
时，摄像机对靶点进行图像采集。

通过自由移动
摄像机在多个方位对虚拟立体靶标进行拍摄，使
得多个虚拟立体靶标分布于整个摄像机的标定空
间。

摄像机在每个方位对虚拟立体靶标的拍摄都
计算出一组摄像机的内、外参数，以作为后续优化
的初值。

最后基于多方位拍摄的虚拟立体靶标进
行标定参数的整体优化。

本发明可以有效提高大
视场摄像机的标定精度。

(51)Int.Cl.
权利要求书2页 说明书7页 附图3页
(19)中华人民共和国国家知识产权局(12)发明专利申请
权利要求书 2 页 说明书 7 页 附图 3 页
1.一种面向大视场高精度视觉测量的摄像机标定方法，其特征在于包括如下步骤：步骤一：初始化标定过程
在三维数控移动装置上固定好一个亮度可以自适应控制的红外LED 靶点，在三维数控移动装置的行程内确定n 个靶点预设位置，要求n ≥6；在摄像机标定空间内确定m 个摄像机拍摄方位，要求各个拍摄方位下的虚拟立体靶标累积分布于摄像机坐标系下的整个标定空间，赋予当前拍摄方位标志j ＝1，取三维数控移动装置的坐标系为世界坐标系；
步骤二：把摄像机放置于第j 个拍摄方位，置靶点当前预设位置标志i ＝1
步骤三：在第j 个方位下拍摄虚拟立体靶标
测量机精确移动靶点至第i 个预设位置P i ，并由摄像机对P i 位置处的靶点进行图像采集，记此时的靶点图像坐标为p ij ，然后判断在第j 个拍摄方位下是否已遍历了全部n 个预设靶点位置，如果是则进入步骤四，否则，将靶点的当前预设位置标志i 增加1，即i ←i+1，重复本步骤过程，直到遍历全部n 个预设靶点位置，由此在三维空间构成一个虚拟立体靶标，并获得虚拟立体靶标每一个靶点位置在第j 个拍摄方位下的图像；
步骤四：由第j 个摄像机方位下拍摄的虚拟立体靶标求解摄像机内、外参数
根据线性摄像机模型有：
其中[u ij ，v ij ，1]T 是空间靶点P i 在第j 个摄像机方位下根据线性成像模型可以得到的像素单位的无畸变图像坐标p ij 的齐次形式，为点P i 的世界坐标的齐次形式，R j 和t j 分别表示世界坐标系到摄像机坐标系的旋转矩阵与平移向量，αx 和αy 分别表示摄像机在图像中两个坐标轴方向的等效焦距，(u 0，v 0)是摄像机主点的图像坐标，M j 为第j 个摄像机方位下的投影矩阵，λ为一常系数；记
称矩阵A 为摄像机的内参数矩阵，R j 和t j 为第j 个摄像机方位下的摄像机外参数；将(1)式整理可得如下两个线性方程：
X i m 11+Y i m 12+Z i m 13+m 14-u ij X i m 31-u ij Y i m 32-u ij Z i m 33-u ij m 34＝0
(2)
X i m 21+Y i m 22+Z i m 23+m 24-v ij X i m 31-v ij Y i m 32-v ij Z i m 33-v ij m 34＝0
其中m pq (p ＝1，2，3；q ＝1，2，3，4)是矩阵M j 的第p 行q 列元素。

根据虚拟立体靶标中的n 个靶点由(2)式形成2n 个关于m pq (p ＝1，2，3；q ＝1，2，3，4)的线性方程，由于是齐次方程，因此令m 34＝1；又因为虚拟立体靶标中的靶点个数n ≥6，因此，可以根据2n 个方程通过最小二乘法求解出投影矩阵M j ；对矩阵M j 进行RQ 分解，求出摄像机在线性模型下的内参数矩阵A ，和第j 个摄像机方位下摄像机的外参数R j 和t j ，作为下面非线性优化的初始值；
由于摄像机系统还可能存在非线性畸变，因此考虑非线性畸变对标定参数做进一步优化。

根据成像几何关系，有
其中(x ij ，y ij )是空间点P i 在第j 个拍摄方位下的归一化图像坐标系下长度单位的无畸变的投影点坐标。

摄像机成像系统的畸变模型取为：
其中(x dij ，y dij )为空间点P i 在第j 个拍摄方位下的归一化图像坐标系下长度单位的带畸变的投影点坐标；k 1、k 2、p 1、p 2、s 1、s 2分别是一阶和二阶的径向、切向及薄棱镜畸变参数，它们与αx 、αy 、u 0、v 0一起构成非线性模型的摄像机内部参数；
由于不同摄像机方位下解算出的内参数会有所不同，因此记第j 个摄像机方位下计算出的摄像机内参数矩阵为A j ，畸变参数分别为k 1j ，k 2j ，p 1j ，p 2j ，s 1j ，s 2j ，建立以虚拟立体靶标上各靶点P i 重投影误差的平方和为最小的目标函数，其表达式为
式中dis i (A j ，k 1j ，k 2j ，p 1j ，p 2j ，s 1j ，s 2j ，R j ，t j )表示空间点P i (i ＝1，2，…，n)根据非线性摄像机模型重投影到归一化图像平面上的带畸变的图像点与P i 在归一化图像平面上的
实际图像点之间的距离的平方；采用非线性优化算法获得式(5)中的优化变量A j ，
k 1j ，k 2j ，p 1j ，p 2j ，s 1j ，s 2j ，R j ，t j 的最优解，迭代中A j ，R j ，t j 的初值由线性模型下的标定结果得到，畸变参数k 1j ，k 2j ，p 1j ，p 2j ，s 1j ，s 2j 的初始值均设为0；
步骤五：判断摄像机的拍摄方位j 是否已经等于m ，如果是则进入步骤六，否则，将当前拍摄方位标志j 增加1，即j ←j+1，重复步骤二至步骤五的过程，直到摄像机完成m 个拍摄方位下的虚拟立体靶标的拍摄
步骤六：基于多方位虚拟立体靶标进行标定参数优化
根据摄像机在世界坐标系下相对于虚拟立体靶标的各方位参数R j 、t j ，得到各次拍摄的
虚拟立体靶标在摄像机坐标系下的方位参数
作为进一步优化的初值，其中
建立以各方位下拍摄的虚拟立体靶标中的每个靶点的重投影误差平方和为最小
的目标函数，其表达式为
其中表示靶点P i 在第j 个拍摄方位下根据非线性摄像机模型重投影到归一化图像平面上的带畸变的图像点与P i 在相应的归一化图像平面上的实际图像点之间的距离的平方；选取一个摄像机方位下由步骤四所获得的内参数矩阵和畸变系数为初值，通过非线性优化算法获得摄像机的最终标定结果。

一种面向大视场高精度视觉测量的摄像机标定方法
技术领域
[0001] 本发明属于测量、测试领域，涉及摄像机标定技术，具体涉及一种面向大视场高精度视觉测量的摄像机标定方法。

背景技术
[0002] 近年来基于机器视觉的测量系统已越来越多地应用于航空、汽车等工业领域的加工、装配以及质检等环节，其核心测量部件摄像机的标定精度直接影响着该类测量系统的测量精度。

摄像机标定的过程就是根据若干三维空间点(靶点)及其在成像平面上对应的二维图像点来确定摄像机成像模型中的各参数的过程。

其中摄像机的参数包括内参数和外参数。

内参数是摄像机的固有参数，不会因为摄像机拍摄方位的变化而改变。

外参数包括摄像机在世界坐标系中的旋转矩阵R以及平移向量t，外参数会随着摄像机的拍摄方位的改变而变化。

[0003] 高精度的摄像机标定一般需要在摄像机前放置一个标定参照物又称靶标，靶标上具有多个已知其精确三维坐标的靶点，通过建立靶标上各靶点空间坐标与相应图像坐标间的关系，来计算摄像机模型中的内部参数和外部参数。

目前已有的标定方法大多对小测量范围(2米以内)适用，而在航空部件装配位姿检测等应用中，测量范围需达到2～15米甚至更大。

要通过视觉测量方法实现这样大范围内的零部件位置与姿态的跟踪、检测，需要以红外LED等主动发光目标作为工作靶点，以获得高质量的光斑图像，基于这些靶点图像和标定出的系统参数解算靶点的三维坐标，进而获得作为工作靶点载体的零部件的空间位置姿态信息。

为了保证大视场视觉测量系统精度，参与系统标定的靶点需要与系统测量时使用的工作靶点相一致，并且由标定靶点分布构成的标定空间应与测量空间基本一致。

[0004] 目前应用较多的标定靶标可以分为三维靶标和二维靶标。

然而不论是二维还是三维靶标，要制作能够基本覆盖大视场测量空间的大型高精度实物靶标都十分困难，特别是对于以红外LED等主动发光的电子元件为靶点的情况，涉及靶点之间精确几何定位和距离摄像机远近不同的大量靶点同时自适应亮度控制两方面的难题，制作大型实物靶标几乎是不可能的。

为了克服实物靶标制作困难的问题，可以在三坐标测量机测头处固定一个靶点，利用三坐标测量机的高精度位移，在空间中构造出一个虚拟的三维靶标，通过虚拟三维靶标及其对应的二维图像进行摄像机标定。

该方法一定程度上解决了实物靶标加工难度大的问题，但是对于大视场的摄像机标定，三坐标测量机的量程相对较小，靶点的移动范围(即虚拟立体靶标的大小)仍无法覆盖整个测量空间，从而严重影响标定精度(见本说明书“有益效果”中的对比说明)。

发明内容
[0005] 技术问题：本发明旨在克服已有技术的不足之处，提出一种面向大视场高精度视觉测量的摄像机标定方法，解决大尺寸的高精度实物靶标无法制作，而小尺寸靶标(包括虚拟立体靶标)无法覆盖整个测量空间，导致标定结果不能真实反应整个大视场范围内的
摄像机成像模型，因而标定精度较低的问题。

[0006] 技术方案：
[0007] 一种面向大视场高精度视觉测量的摄像机标定方法，其特征在于包括如下步骤：
[0008] 步骤一：初始化标定过程
[0009] 在三维数控移动装置上固定好一个亮度可以自适应控制的红外LED 靶点，在三维数控移动装置的行程内确定n 个靶点预设位置，要求n ≥6；在摄像机标定空间内确定m 个摄像机拍摄方位，要求各个拍摄方位下的虚拟立体靶标累积分布于摄像机坐标系下的整个标定空间，赋予当前拍摄方位标志j ＝1，取三维数控移动装置的坐标系为世界坐标系；
[0010] 步骤二：把摄像机放置于第j 个拍摄方位，置靶点当前预设位置标志i ＝1
[0011] 步骤三：在第j 个方位下拍摄虚拟立体靶标
[0012] 测量机精确移动靶点至第i 个预设位置P i ，并由摄像机对P i 位置处的靶点进行图像采集，记此时的靶点图像坐标为p ij ，然后判断在第j 个拍摄方位下是否已遍历了全部n 个预设靶点位置，如果是则进入步骤四，否则，将靶点的当前预设位置标志i 增加1，即i ←i+1，重复本步骤过程，直到遍历全部n 个预设靶点位置，由此在三维空间构成一个虚拟立体靶标，并获得虚拟立体靶标每一个靶点位置在第j 个拍摄方位下的图像；
[0013] 步骤四：由第j 个摄像机方位下拍摄的虚拟立体靶标求解摄像机内、外参数
[0014] 根据线性摄像机模型有：
[0015]
[0016] 其中[u ij ，v ij ，1]T 是空间靶点P i 在第j 个摄像机方位下根据线性成像模型可以得
到的像素单位的无畸变图像坐标p ij 的齐次形式，
为点P i 的世界坐标的齐次形式，R j 和t j 分别表示世界坐标系到摄像机坐标系的旋转矩阵与平移向量，αx 和αy 分别表示摄像机在图像中两个坐标轴方向的等效焦距，(u 0，v 0)是摄像机主点的图像坐标，M j 为第j 个摄像机方位下的投影矩阵，λ为一常系数；记
[0017]
[0018] 称矩阵A 为摄像机的内参数矩阵，R j 和t j 为第j 个摄像机方位下的摄像机外参数；
[0019] 将(1)式整理可得如下两个线性方程：
[0020] X i m 11+Y i m 12+Z i m 13+m 14-u ij X i m 31-u ij Y i m 32-u ij Z i m 33-u ij m 34＝0
[0021] (2)
[0022] X i m 21+Y i m 22+Z i m 23+m 24-v ij X i m 31-v ij Y i m 32-v ij Z i m 33-v ij m 34＝0
[0023] 其中m pq (p ＝1，2，3；q ＝1，2，3，4)是矩阵M j 的第p 行q 列元素。

根据虚拟立体靶标中的n 个靶点由(2)式形成2n 个关于m pq (p ＝1，2，3；q ＝1，2，3，4)的线性方程，由于是齐次方程，因此令m 34＝1；又因为虚拟立体靶标中的靶点个数n ≥6，因此，可以根据2n 个方程通过最小二乘法求解出投影矩阵M j ；对矩阵M j 进行RQ 分解，求出摄像机在线性模型下的内参数矩阵A ，和第j 个摄像机方位下摄像机的外参数R j 和t j ，作为下面非线性优化的初始值；
[0024] 由于摄像机系统还可能存在非线性畸变，因此考虑非线性畸变对标定参数做进一步优化。

根据成像几何关系，有
[0025]
[0026]
其中(x ij ，y ij )是空间点P i 在第j 个拍摄方位下的归一化图像坐标系下长度单位
的无畸变的投影点坐标。

摄像机成像系统的畸变模型取为：
[0027]
[0028] 其中(x dij ，y dij )为空间点P i 在第j 个拍摄方位下的归一化图像坐标系下长度单位
的带畸变的投影点坐标；
k 1、k 2、p 1、p 2、s 1、s 2分别是一阶和二阶的径向、切向及薄棱镜畸变参数，它们与αx 、
αy 、u 0、v 0一起构成非线性模型的摄像机内部参数；[0029] 由于不同摄像机方位下解算出的内参数会有所不同，因此记第j 个摄像机方位下计算出的摄像机内参数矩阵为A j ，畸变参数分别为k 1j ，k 2j ，p 1j ，p 2j ，s 1j ，s 2j ，建立以虚拟立体靶标上各靶点P i 重投影误差的平方和为最小的目标函数，其表达式为
[0030]
[0031] 式中dis i (A j ，k 1j ，k 2j ，p 1j ，p 2j ，s 1j ，s 2j ，R j ，t j )表示空间点P i (i ＝1，2，…，n)根据
非线性摄像机模型重投影到归一化图像平面上的带畸变的图像点与P i 在归一化图像平面上的实际图像点之间的距离的平方；采用非线性优化算法获得式(5)中的优化变量A j ，k 1j ，k 2j ，p 1j ，p 2j ，s 1j ，s 2j ，R j ，t j 的最优解，迭代中A j ，R j ，t j 的初值由线性模型下的标定结果得到，畸变参数k 1j ，k 2j ，p 1j ，p 2j ，s 1j ，s 2j 的初始值均设为0；
[0032] 步骤五：判断摄像机的拍摄方位j 是否已经等于m ，如果是则进入步骤六，否则，将当前拍摄方位标志j 增加1，即j ←j+1，重复步骤二至步骤五的过程，直到摄像机完成m 个拍摄方位下的虚拟立体靶标的拍摄
[0033] 步骤六：基于多方位虚拟立体靶标进行标定参数优化
[0034] 根据摄像机在世界坐标系下相对于虚拟立体靶标的各方位参数R j 、t j ，得到各次
拍摄的虚拟立体靶标在摄像机坐标系下的方位参数
作为进一步优化的初值，其中
建立以各方位下拍摄的虚拟立体靶标中的每个靶点的重投影误差平方和为最小的目标函数，其表达式为
[0035]
[0036] 其中表示靶点P i 在第j 个拍摄方位下根据非线性摄像机模型重投影到归一化图像平面上的带畸变的图像点与P i 在相应的归一化图像平面上的实际图像点之间的距离的平方；选取一个摄像机方位下由步骤四所获得的内参数矩阵和畸变系数为初值，通过非线性优化算法获得摄像机的最终标定结果。

[0037] 本发明采用亮度自适应的单个红外LED 作为目标靶点，将该靶点固定在可以沿X 、Y 、Z 三个相互垂直的方向精确移动的三维数控机械装置上，并控制该机械装置依次精确移动至预先设定的空间位置，从而利用数控机械装置的精确位移，在三维空间构成一个虚拟立体靶标。

每次靶点到达设定的空间位置时，摄像机对靶点进行图像采集。

针对虚拟立体靶标在大视场摄像机标定中只能覆盖一小部分标定空间的问题，通过自由移动摄像机在多个
方位对虚拟立体靶标进行拍摄，使得多个虚拟立体靶标分布于整个摄像机的标定空间。

摄像机在每个方位对虚拟立体靶标的拍摄都计算出一组摄像机的内、外参数，以作为后续优化的初值。

最后基于多方位拍摄的虚拟立体靶标进行标定参数的整体优化。

本发明方法较好地解决了大视场视觉测量中大尺寸靶标加工困难，而用小尺寸靶标的标定精度难以保证的问题，可以有效提高大视场摄像机的标定精度。

[0038] 本发明与现有技术相比，具有如下优点：
[0039] 1.采用与大视场视觉测量的工作靶点一致的亮度可控的红外LED 作为标定靶点，使得系统标定过程与测量过程具有良好的一致性，能够更好地保证系统的测量精度。

[0040] 2.可以根据摄像机视场的大小，灵活布置虚拟立体靶标在摄像机视场中的方位，靶点间无遮挡，且各方位拍摄的虚拟立体靶标分布于整个测量范围内，较好地解决了大视场视觉测量中大尺寸靶标加工困难、而用小尺寸靶标获得的标定结果精度难以保证的问题。

附图说明
[0041] 图1是本发明一种面向大视场高精度视觉测量的摄像机标定方法流程图；
[0042] 图2是摄像机从不同方位对虚拟立体靶标进行拍摄示意图；
[0043] 图3是多个方位拍摄的虚拟立体靶标分布于摄像机的整个标定空间的示意图；
[0044] 图4是实施例的三个对比实验中摄像机采集的虚拟立体靶标图像，其中图4a 是采用本发明方法在18个方位拍摄虚拟立体靶标得到的其中9个虚拟立体靶标图像合成到一张图像中的效果，图4b 是将虚拟立体靶标置于标定空间内，在一个摄像机方位下拍摄虚拟立体靶标得到的图像，图4c 是在近距离单个方位拍摄虚拟立体靶标，使单个虚拟立体靶标能够基本覆盖整个成像平面所得到的虚拟立体靶标图像；
[0045] 图5是三组标定实验结果参数；
[0046] 图6是基于标定结果的虚拟立体检验靶标的三维重建误差(单位：毫米)。

具体实施方式
[0047] 在三维数控移动装置上固定一个红外LED 靶点，三维数控移动装置可以是三坐标测量机，或者三坐标铣床。

设定三维数控移动装置的坐标系为世界坐标系。

将摄像机根据测量空间大小固定于第j(j ＝1，2，…，m)个拍摄方位，三维数控移动装置按照事先设定的点位移动，靶点每移动到一个预定位置P i (i ＝1，2，…，n)，摄像机采集一幅靶点图像，由此在三维数控移动装置的移动空间中形成一个虚拟的立体靶标以及虚拟立体靶标在第j 个拍摄方位下的二维图像(如图2所示)。

图2中符号T 表示靶点经过三维数控移动装置的多个预设位置构成的虚拟立体靶标，符号P i 表示第i 个预设靶点位置，O w -X w Y w Z w 代表世界坐标系，πj 表示第j 个拍摄方位的摄像机成像平面，R j 、t j 分别表示第j 个拍摄方位下摄像机坐标系相对于世界坐标系的旋转矩阵和平移向量。

根据每个靶点在世界坐标系下的三维坐标P i (i ＝1，2，…，n)与其在第j 个拍摄方位下的图像点的二维坐标p ij (i ＝1，2，…，n)，计算出一组摄像机参数，包括内参数A j 、k 1j 、k 2j 、p 1j 、p 2j 、s 1j 、s 2j 和外参数R j 、t j 。

改变摄像机的方位，重复拍摄虚拟立体靶标过程，使虚拟的三维靶标经过m 个摄像机方位的拍摄分布于整个摄像机的标定空间。

将虚拟立体靶标分别转换到各次拍摄时的摄像机坐标系下，
则所有虚拟立体靶标组成一个分布于整个标定空间的大型三维靶标(如图3所示)。

图3中，符号T j 分别表示第j 个拍摄方位下拍摄的虚拟立体靶标，O c -X c Y c Z c 表示摄像机坐标系，
表示第j 个方位拍摄的虚拟立体靶标相对于摄像机坐标系的旋转矩阵和平移向量。

以摄像机内参数和摄像机在各个方位下拍摄的虚拟立体靶标在摄像机坐标系下的位置及姿态参数为优化变量，以单个拍摄方位下获得的摄像机内、外参数为初值，建立以所有三维靶点位置重投影误差平方和为最小的目标函数，采用非线性优化方法求解摄像机标定参数的最优解。

[0048] 下面结合附图和实施例对本发明作进一步详细说明。

本发明涉及的一种面向大视场高精度视觉测量的摄像机标定方法，包含以下步骤：
[0049] 步骤一：初始化标定过程
[0050] 在三维数控移动装置上固定好一个亮度可以自适应控制的红外LED 靶点。

在三维数控移动装置的行程内确定n 个靶点预设位置，要求n ≥6。

在摄像机标定空间内确定m 个摄像机拍摄方位，要求各个拍摄方位下的虚拟立体靶标累积分布于摄像机坐标系下的整个标定空间。

赋予当前拍摄方位标志j ＝1。

取三维数控移动装置的坐标系为世界坐标系。

[0051] 步骤二：把摄像机放置于第j 个拍摄方位，置靶点当前预设位置标志i ＝1。

[0052] 步骤三：在第j 个方位下拍摄虚拟立体靶标
[0053] 测量机精确移动靶点至第i 个预设位置P i ，并由摄像机对P i 位置处的靶点进行图像采集，记此时的靶点图像坐标为p ij ，然后判断在第j 个拍摄方位下是否已遍历了全部n 个预设靶点位置，如果是则进入步骤四，否则，将靶点的当前预设位置标志i 增加1，即i ←i+1，重复本步骤过程，直到遍历全部n 个预设靶点位置，由此在三维空间构成一个虚拟立体靶标(如图2所示)，并获得虚拟立体靶标每一个靶点位置在第j 个拍摄方位下的图像。

[0054] 步骤四：由第j 个摄像机方位下拍摄的虚拟立体靶标求解摄像机内、外参数根据线性摄像机模型有：
[0055]
[0056]
其中[u ij ，v ij ，1]T 是空间靶点P i 在第j 个摄像机方位下根据线性成像模型可以得
到的像素单位的无畸变图像坐标p ij 的齐次形式，为点P i 的世界坐标的齐次形式，R j 和t j 分别表示世界坐标系到摄像机坐标系的旋转矩阵与平移向量，αx 和αy 分别表示摄像机在图像中两个坐标轴方向的等效焦距，(u 0，v 0)是摄像机主点的图像坐标，M j 为第j 个摄像机方位下的投影矩阵，λ为一常系数。

记
[0057]
[0058]
称矩阵A 为摄像机的内参数矩阵，R j 和t j 为第j 个摄像机方位下的摄像机外参数。

[0059] 将(1)式整理可得如下两个线性方程：[0060] X i m 11+Y i m 12+Z i m 13+m 14-u ij X i m 31-u ij Y i m 32-u ij Z i m 33-u ij m 34＝0
[0061] (5)
[0062] X i m 21+Y i m 22+Z i m 23+m 24-v ij X i m 31-v ij Y i m 32-v ij Z i m 33-v ij m 34＝0
[0063] 其中m pq (p ＝1，2，3；q ＝1，2，3，4)是矩阵M j 的第p 行q 列元素。

根据虚拟立体靶标中的n 个靶点由(2)式形成2n 个关于m pq (p ＝1，2，3；q ＝1，2，3，4)的线性方程，由于是齐次方程，因此令m 34＝1。

又因为虚拟立体靶标中的靶点个数n ≥6，因此，可以根据2n 个方程通过最小二乘法求解出投影矩阵M j 。

对矩阵M j 进行RQ 分解，求出摄像机在线性模型下的内参数矩阵A ，和第j 个摄像机方位下摄像机的外参数R j 和t j ，作为下面非线性优化的初始值。

[0064] 由于摄像机系统还可能存在非线性畸变，因此考虑非线性畸变对标定参数做进一步优化。

根据成像几何关系，有
[0065]
[0066]
其中(x ij ，y ij )是空间点P i 在第j 个拍摄方位下的归一化图像坐标系下长度单位
的无畸变的投影点坐标。

摄像机成像系统的畸变模型取为：
[0067]
[0068] 其中(x dij ，y dij )为空间点P i 在第j 个拍摄方位下的归一化图像坐标系下长度单位
的带畸变的投影点坐标；
k 1、k 2、p 1、p 2、s 1、s 2分别是一阶和二阶的径向、切向及薄棱镜畸变参数，它们与αx 、αy 、u 0、v 0一起构成非线性模型的摄像机内部参数。

[0069] 由于不同摄像机方位下解算出的内参数会有所不同，因此记第j 个摄像机方位下计算出的摄像机内参数矩阵为A j ，畸变参数分别为k 1j ，k 2j ，p 1j ，p 2j ，s 1j ，s 2j 。

建立以虚拟立体靶标上各靶点P i 重投影误差的平方和为最小的目标函数，其表达式为
[0070]
[0071] 式中dis i (A j ，k 1j ，k 2j ，p 1j ，p 2j ，s 1j ，s 2j ，R j ，t j )表示空间点P i (i ＝1，2，…，n)根据
非线性摄像机模型重投影到归一化图像平面上的带畸变的图像点与P i 在归一化图像平面上的实际图像点之间的距离的平方。

实施例中采用Levenberg-Marquardt 迭代算法获得式
(5)中的优化变量A j ，k 1j ，k 2j ，p 1j ，p 2j ，s 1j ，s 2j ，R j ，t j 的最优解，迭代中A j ，R j ，t j 的初值由线性模型下的标定结果得到，畸变参数k 1j ，k 2j ，p 1j ，p 2j ，s 1j ，s 2j 的初始值均设为0。

[0072] 步骤五：判断摄像机的拍摄方位j 是否已经等于m ，如果是则进入步骤六，否则，将当前拍摄方位标志j 增加1，即j ←j+1，重复步骤二至步骤五的过程，直到摄像机完成m 个拍摄方位下的虚拟立体靶标的拍摄(如图3所示)。

[0073] 步骤六：基于多方位虚拟立体靶标进行标定参数优化
[0074] 根据摄像机在世界坐标系下相对于虚拟立体靶标的各方位参数R j 、t j ，得到各次
拍摄的虚拟立体靶标在摄像机坐标系下的方位参数
作为进一步优化的初值，其中
建立以各方位下拍摄的虚拟立体靶标中的每个靶点的重投影误差平方和为最小的目标函数，其表达式为
[0075]
[0076] 其中表示靶点P i 在第j 个拍摄方位下根据非线性摄像机模型重投影到归一化图像平面上的带畸变的图像点与P i 在相应的归一化图像平面上。