基于圆形标志点的全自动相机标定方法

合集下载

基于正方体和圆环点的摄像机线性自标定方法

基于正方体和圆环点的摄像机线性自标定方法作者：禹旺勋王爱菊来源：《商情》2014年第44期【摘要】本文提出了基于圆环点的摄像机自标定方法。

该方法要求摄像机从3个或多个不同的方位摄取正方体的图像。

根据射影几何调和共轭和交比不变的性质，求出3条相交边灭点的坐标，由3组两两垂直得到三组正交灭点，从而线性的求出摄像机的5个内参数。

模拟图像实验表明，该方法原理简单，并有较高的求解精度。

【关键词】自标定，圆环点，正方体，摄影几何【Abstract】The paper proposed a technique for calibrating based on circular points. The approach only requires camera to take 3 or more figures from different orientations. According to conjugate harmonic and cross-ratio invariant properties in projective geometry， the vanishing points on edges are solved. According to orthogonal relationships of diameters can get three groups orthogonal vanishing points. thus intrinsic parameters are solved linearly. Computer real experiment prove the feasibility and the robustness of this approach.【Keywords】camera self-calibration， circular points， cubic， projective geometry1引言摄像机标定是计算机视觉领域从二维图像中提取三维信息所不可缺少的步骤。

基于彩色圆形标记投射的投影仪标定方法

ＡｂｓｔｒａｃｔｎｅｗｍｅｔｈｏｄｉｓｒｏｏｓｅｄｆｏｒｃａｌｉｂｒａｔｉｎｔｈｅｒｏｅｃｔｏｒｗｈｉｃｈａｎｄａｃａｍｅｒａｍａｋｅｕｏｆａｔｈｒｅｅｄｉｍｅｎｓｉｏｎａｌＡ－ｐｐｇｐｊｐ，ｓｓｔｅｍｕｓｅｄｏｆｓｔｒｕｃｔｕｒｅｄｌｉｈｔ．Ｆｉｒｓｔｌｔｈｅｃｏｌｏｒｃｉｒｃｕｌａｒｍａｒｋｓｅａｓｔｏｂｅｉｄｅｎｔｉｆｉｅｄａｒｅｔｏｔｈｅｃａｌｉｂｒａｔｉｎｒｅｃｏｖｅｒｒｏｅｃｔｅｄｙｇｙｙｇｙｐｊ，ｂｏａｒｄ，ａｎｄｔｈｅｉｍａｅｏｆｔｈｅｂｏａｒｄｉｓａｃｕｉｒｅｄｂｔｈｅｃａｍｅｒａ．Ｓｅｃｏｎｄｌｔｈｅｆｅａｔｕｒｅｉｎｆｏｒｍａｔｉｏｎｏｆｔｈｅｃｏｌｏｒｃｉｒｃｕｌａｒｍａｒｋｓｉｓｇｑｙｙ，，ｒｏｅｃｔｏｒ．Ｔｈｅｎｅｘｔｒａｃｔｅｄｂｃｏｌｏｒｉｍａｅｓｅｍｅｎｔａｔｉｏｎａｎｄｆｅａｔｕｒｅｅｘｔｒａｃｔｉｏｎｗｈｉｃｈｉｓａｌｉｅｄｔｏｃａｌｉｂｒａｔｅｔｈｅｔｈｅｗｏｒｌｄｃｏ－ｐｊｙｇｇｐｐｏｒｄｉｎａｔｅｓｏｆｔｈｅｃｅｎｔｅｒｓｏｆｔｈｅｃｉｒｃｕｌａｒｍａｒｋｓａｒｅｓｏｌｖｅｄｂｕｓｉｎｔｈｅｂａｃｋｃａｍｅｒａｍｏｄｅｌｗｈｉｃｈｈａｓｂｅｅｎｃａｌｉｂｒａｔｅｄ．ｒｏｅｃｔｅｄ－ｐｙｇｊ，Ｆｉｎａｌｌｕｎｄｅｒｔｈｅｏｔｉｃａｌｒｅｖｅｒｓｉｂｌｅｔｈｅｒｅａｒｄｅｄａｓａｃａｍｅｒａｗｉｔｈｂａｃｋｌｉｈｔｒｏａｄｉｓｃａｌｉｂｒａｔｅｄａｓｓａｍｅａｓｒｉｎｃｉｌｅｒｏｅｃｔｏｒｙ，ｐｇｇｐｐｐｊｃａｌｉｂｒａｔｉｎｃａｍｅｒａ．Ｔｈｅｒｅｓｕｌｔｓｏｆｔｈｅｅｘｅｒｉｍｅｎｔｓｓｈｏｗｔｈａｔｔｈｅｍｅｔｈｏｄｗｉｔｈｏｕｔｓｅｃｉａｌｃａｌｉｂｒａｔｉｏｎｅｕｉｍｅｎｔｃａｎａｔｔａｉｎｔｈｅｇｐｐｑｐ，ｃｏｎｓｉｄｅｒａｂｌｅａｃｃｕｒａｃａｓｓｉｍｉｌａｒｃａｌｉｂｒａｔｉｎｍｅｔｈｏｄｓａｎｄｔｈｕｓｈａｓｖａｌｕｅｓ．ｒａｃｔｉｃａｌｙｇｐ，，，，ｒｏｅｃｔｏｒＫｅＷｏｒｄｓｃａｌｉｂｒａｔｉｏｎｃｏｌｏｒｉｍａｅｓｅｍｅｎｔａｔｉｏｎｅｌｌｉｔｉｃｄｅｔｅｃｔｉｏｎｔｈｒｅｅｄｉｍｅｎｓｉｏｎａｌｒｅｃｏｖｅｒｓｔｒｕｃｔｕｒｅｄｌｉｈｔｐ－ｊｇｇｐｙｇｙＣｌａｓｓＮｕｍｂｅｒＰ３９１．４１Ｔ

基于2D圆点阵列的摄像机精确标定

基于2D圆点阵列的摄像机精确标定摘要:针对电脑键盘自动组装生产线研制过程中的摄像机标定问题,提出一种新的摄像机精确标定方法。

该方法选用2D圆点阵列作为靶标,首先在不考虑摄像机镜头畸变的情况下,利用改进的Matlab标定工具箱估计出摄像机参数的初始值;然后考虑摄像机的镜头畸变,利用改进遗传算法实现对摄像机参数的精确求解。

实验结果表明,该方法是有效可行的。

关键词:计算机视觉摄像机标定圆点阵列靶标遗传优化随着计算机技术和工业自动化程度的不断提高,采用图像传感器的视觉技术已被广泛地应用到工业生产过程中。

为从图像传感器获取的二维信息得到与其相对应的三维空间信息,则须确定图像传感器成像的几何模型。

而确定图像传感器的几何模型的过程即是所谓的摄像机标定[1-3]。

目前,摄像机标定大致可分为传统标定法、自标定法和基于主动视觉的标定法等三大类[2]。

这些标定方法采用的数据处理技术可归结为线性变换、非线性优化和混合优化等三种。

其中,混合优化方案兼顾了线性变换的快速性和非线性优化的准确性等优点,是近年来较为成功的摄像机标定技术。

本文基于混合优化思想,选用二维圆阵列作为靶标,提出一种基于改进GA的快速而准确的摄像机标定方法。

该方法既能保证标定的精确性,又具有特征点提取快速、非线性优化过程简便等优点。

1 摄像机模型1.1 理想摄像机模型1.2 考虑非线性畸变的摄像机模型由于光学系统的加工误差和装配误差等因素,因此摄像机成像精度不可能达到理想针孔摄像机模型的成像精度,即空间点在像平面上实际位置与理想成像位置间存在一定的畸变误差。

畸变误差可分为三种:偏心畸变、薄棱镜畸变和径向畸变。

其中,前两种畸变的存在将导致成像时的径向偏差和切向偏差;径向畸变的存在仅导致成像时的径向偏差,且偏差关于光轴对称。

因此,考虑非线性畸变的摄像机模型可表述为:2 参数求解方法本文利用2D圆点阵列作为靶标,首先利用Matlab标定工具箱估计出针孔摄像机模型中的摄像机参数,然后以此为初始值,利用改进GA实现对考虑径向畸变的摄像机参数的优化。

相机模型与标定（十二）--opencv圆形标志点检测算法

相机模型与标定（⼗⼆）--opencv圆形标志点检测算法本来以为圆形检测⽐较简单，实际还是花费我近⼀上午时间，⽹上⼏乎没有相关资料（除了OpenCV官⽹）。

这⾥坐下简单介绍，分享给⼤家。

⾮对称圆形标定物检测：1.findCirclesGrid函数的使⽤，如下：case ASYMMETRIC_CIRCLES_GRID:boardSize.width = 4;boardSize.height = 11;found = findCirclesGrid(view, boardSize, pointbuf, CALIB_CB_ASYMMETRIC_GRID | CALIB_CB_CLUSTERING, blobDetector);标定图⽚：需要注意的是：1.boardSize 的宽度，需要设置为图⽚中固定个数的⽅向，如上图，⽔平⽅向，分别有5，6两种个数，垂直⽅向只有⼀种个数，因此，宽度设置为4，此后，以4为⼀⾏，则实际该图⽚在⽔平⽅向有11⾏，因此，⾼度设置为11.这⾥弄错，返回就是false了。

2.CALIB_CB_CLUSTERING 标志标识在检测到中⼼点后，会以层次Kmean⽅式聚类检测值，并计算检测点围成的凸包⾓点，并排序外部⾓点。

同时，会根据排序后的2D外部⾓点和理想估计点，计算单应性H，再计算出所有监测点的投影点，再根据Knn选取跟理想估计点近似最近点，作为实际输出的圆形中点。

3.不设置CALIB_CB_CLUSTERING标志时，则根据CirclesGridFinder 类（⼏何特征），检测相关圆形，并排序输出。

对称圆形标志检测，流程与上⾯⼀致，只是不⽤关注长宽设置问题。

实际上，主要思路在于利⽤简单斑点检测器，检测出圆形后，做后续的相关过滤，排序，确认等操作。

基于2D圆点阵列的摄像机精确标定

基于2D圆点阵列的摄像机精确标定摘要:针对电脑键盘自动组装生产线研制过程中的摄像机标定问题,提出一种新的摄像机精确标定方法。

该方法选用2d圆点阵列作为靶标,首先在不考虑摄像机镜头畸变的情况下,利用改进的matlab标定工具箱估计出摄像机参数的初始值;然后考虑摄像机的镜头畸变,利用改进遗传算法实现对摄像机参数的精确求解。

实验结果表明,该方法是有效可行的。

关键词:计算机视觉摄像机标定圆点阵列靶标遗传优化abstract:aiming at improving performance of the vision system for keyboard assembly,a new accurate camera calibration method is proposed.2d circle array is used to extract feature points for calibration.lens distortion is neglected,and modified camera calibration toolbox for matlab is adopted to compute camera parameters.those parameters are taken as initials,and camera model with lens distortion is resolved by improved geneticalgorithm(ga).consequently,camera parameters with higher accuracy are obtained.experiment results indicate the proposed method is feasible.key words:computer vision;camera calibration;circle array target;genetic optimization随着计算机技术和工业自动化程度的不断提高,采用图像传感器的视觉技术已被广泛地应用到工业生产过程中。

基于2D圆点阵列的摄像机精确标定

基于2D圆点阵列的摄像机精确标定摘要:针对电脑键盘自动组装生产线研制过程中的摄像机标定问题,提出一种新的摄像机精确标定方法。

实验结果表明,该方法是有效可行的。

基于圆形特征的摄像机标定

目录1. 课题的研究背景及意义 (1)1.1 课题研究背景 (1)1.2 课题研究意义 (1)2 摄像机标定技术的理论基础 (2)2.1 摄像机模型 (2)2.1.1 线性模型摄像机标定 (2)2.1.2 成像关系推倒 (4)2.1.3 引入畸变的摄像机模型 (5)2.2 摄像机参数模型 (6)3. 摄像机标定技术技术的发展现状 (6)3.1 摄像机标定技术的分类 (6)3.2 摄像机标定技术的国内外现状 (7)3.2.1 传统摄像机标定方法 (7)3.2.2 基于圆形特征的平面模板的摄像机标定 (7)3.3 基于圆形特征的摄像机标定技术存在的问题 (8)4. 研究内容及研究方案 (9)4.1 研究内容 (9)4.2 研究方案及拟采用技术 (9)4.2.1 图像处理 (9)4.2.2 圆心像点坐标的精确定位 (10)4.2.3 椭圆/二次曲线的提取 (10)4.2.4 智能优化算法提高摄像机标定精度 (11)4.4.5 多摄像机的全局标定 (11)5. 课题难点及解决方法 (12)6. 实验条件及论文经费估计 (12)7. 论文工作计划 (12)8. 参考文献 (12)1.2.课题的研究背景及意义本课题为自选课题，即基于圆形特征的摄像机标定技术研究。

1.1 课题研究背景视觉是人类感知环境世界，认识外部世界的主要途径。

据统计人类约有80%信息是通过视觉获得的[1]。

计算机视觉的基本任务之一也是从摄像机获取的图像信息出发计算三维空间中物体的何信息，并由此重建和识别物体。

虽然，目前人们还不能让计算机也具有像生物那样高效、灵活的视觉系统，但这种希望正在逐步实现。

视觉测量技术，是以机器视觉技术为基础，融合电子技术、计算机技术、近景测量技术、图像处理技术为一体的测量系统。

其试图通过对图像对被测目标进行测量，无须基础被测物体本身，这一间接测量的特点，使得视觉测量系统具有受外界条件影响小，信息获取和测量数据处理在时间上是接近同步的。

一种新的基于圆环点的摄像机自标定方法

Ã
摘要: 提出了一种基于圆环点的新的摄像机自标定方法.该方法仅要求摄像机在 3 个(或 3 个以上)不同方位摄取一个含有若干条直径的圆的图像 , 即可线性求解全部摄像机内参数 .该方法原理简单 , 完全摆脱了匹配问题 ,也无须知道任何物理度量 .整个定标过程不需要人的干预 ,可以自动进行 ,非常适合非视觉专业人员使用 . 模拟和真实图像实验表明,该方法精确度较高,鲁棒性较强,有一定的实用性. 关键词: 摄像机标定;圆环点;绝对二次曲线中图法分类号: TP391 文献标识码: A
u s v = K [r1 1
T
r2
r3
由上式 , 模板平面上的点 [x, y, z , t ] 也可用二维齐次坐标 [x, y, t ] 来表示 . 根据射影几何的概念 , 模板平面上所有满足 t = 0 的点构成了该模板平面的无穷远直线 l∞ . 我们考虑 l∞ 上的两个特殊点 ~ ~ I (1, i,0,0)T , J (1,−i,0,0)T (通常称为圆环点 )[8], 不难证明 : I , J 的坐标满足方程 M T M = 0 ,即 I , J 是 ω 上的点 . 如果假设 I , J 的像点分别为 I m , J m ,则 I m , J m 应落在 ω 的像上,即有：
孟晓桥等: 一种新的基于圆环点的摄像机自标定方法
959
Fig.3
图3 1.2 计算隐消线方程
Model plane
模板平面
Fig.4
From model plane to image plane
图4 模板平面的成像
图 3 中过圆心 O 的一条直线 L1 交圆于点 A1 , B1 ,交 l∞ 于 C1 ,则根据射影几何理论, A1 , B1 , O , C1 四点的交比为 −1,即 ( A1 B1 , OC1 ) =

基于圆形模式平面标靶的高精度相机标定方法

第３３卷第４期烟台大学学报（自然科学与工程版）Ｖｏｌ．３３Ｎｏ．４２０２０年１０月ＪｏｕｒｎａｌｏｆＹａｎｔａｉＵｎｉｖｅｒｓｉｔｙ（ＮａｔｕｒａｌＳｃｉｅｎｃｅａｎｄＥｎｇｉｎｅｅｒｉｎｇＥｄｉｔｉｏｎ）Ｏｃｔ．２０２０文章编号：１００４８８２０（２０２０）０４０４７２０７ｄｏｉ：１０．１３９５１／ｊ．ｃｎｋｉ．３７１２１３／ｎ．２００１０６收稿日期：２０２００１１０基金项目：国家自然科学青年基金资助项目（６１８０２３３１）；山东省青年博士基金资助项目（ＺＲ２０１８ＢＦ００８）．通信作者：武栓虎（ｗｕｓｈｕａｎｈｕ＠ｙｔｕ．ｅｄｕ．ｃｎ），教授，博士，主要研究方向为图像处理和模式识别．基于圆形模式平面标靶的高精度相机标定方法辛　睿，武栓虎，李爱娟（烟台大学计算机与控制工程学院，山东烟台２６４００５）摘要：相机标定是三维视觉精确测量过程的一个关键步骤．圆形模式平面标靶是最常见的一种标定工具，具有制造简单，受环境光和噪声影响较小的优点．唯一的不足是由于镜头畸变和透视偏差，成像的椭圆中心并非标靶圆心的特征对应点，因此利用椭圆中心作为标定特征点，降低了相机的标定精度．针对这个问题，本文提出了一种同时矫正透视和畸变偏差的方法，从而得到精确的圆心成像点，获得高精度的标定结果．模拟实验和真实图像标定结果验证了算法的正确性和有效性．另外，本方法提出的透视和畸变矫正方法独立于相机内部参数估计过程，因此可以应用于更复杂的相机模型．关键词：相机标定；透视和畸变偏差；偏差矫正；圆形模式标靶中图分类号：ＴＰ３９１文献标志码：Ａ相机标定是三维视觉测量应用过程中的一个重要环节，应用领域非常广泛，从自动精密装配机器人、机器人定位导航到三维目标重建，都需要用到精确的相机标定．最经典的相机标定技术由ＴＳＡＩ［１］在１９８７年提出，通过使用黑色方块立体压印图形板并采用二步法进行标定可以做到快速估计相机参数，但高精度的三维标靶制作精度成本较高．ＨＩＫＫＬＩＡ［２］基于２块带有圆形模式的垂直平面标靶开创了用椭圆中心点作为特征点标定的先河．将２块垂直的标靶构造三维标靶精度要求较高，不利于大范围的推广．平面标靶是普遍采用的标定工具，优点是制作简单，精度高成本低．目前流行的平面标靶有２种：基于圆模式的和棋盘模式的．棋盘标靶标定法是ＺＨＡＮＧ［３］于２０００年提出的，将棋盘角点作为特征对应点，是近年来一直采用的标定方法．但是棋盘标靶在特征点提取时受光照和噪声影响较大，不利于工业应用．因此作为替代，基于圆模式的平面标靶也得到了普遍采用．这是由于圆的成像为椭圆，将椭圆中心作为圆心的特征对应点受环境影响较小，恢复精度高，因此得到了广泛应用．但是将椭圆中心作为特征对应点，由于透视偏差和镜头畸变，并非真实的标靶圆心投影，存在一定的偏差．圆的直径越大，透视偏差和镜头畸变越大，特征点的偏差就越大，从而降低了标定精度．针对这个问题，文献［４－５］提出了基于圆环模式的标定方法．其基本思想是外围采用多个大直径的圆环，在圆环中心使用尺寸小的圆点，以利于克服尺寸大特征点提取精度低的缺点．但文献［４－５］采用圆环模式投影重建和模式匹配的策略对成像圆环中小圆点定位的方法，速度较慢．另外圆环标靶也不利于推广．针对平面圆模式标靶的最新研究进展是２０１４年的文献［６］，此后未见类似的研究报告，文献［６］全面地分析了２０００年发表的文献［２］中方法的不足，并基于圆形模式平面标靶提出了一种标定算法．但作者也指出其唯一不足就是采用文献［７］提供的工具（ＣａｌｉｂｒａｔｉｏｎＨａｒｐ）：先对镜头畸变先行标定，然后将原始图像映射到非畸变图像空间，检测椭圆中心，通过矫正透视偏差提高标定精度．ＣａｌｉｂｒａｔｉｏｎＨａｒｐ畸变标定工具比较昂贵，成本较高，同样不利　第４期辛　睿，等：基于圆形模式平面标靶的高精度相机标定方法于推广应用．值得一提的是文献［８］提出了一种相机标定中圆心投影点精确定位方法，但该方法并未考虑镜头畸变产生的影响，因此误差较大；类似地，文献［９］基于三维球形标靶，提出了一种球心投影偏差的校正方法，同样也未涉及镜头畸变带来的偏差．另外，文献［１０］提出了一种基于相位标靶的相机标定方法，但相位标靶并不适合在复杂光照环境下的应用，比如机器人导航等．除此之外，大多数研究集中标定算法的研究上，譬如文献［１１－１２］，但在实际应用上，这些方法仍有不足，传统模型和方法依然占据主流．综上所述，不依赖任何辅助工具，圆模式平面标靶圆心在相机空间的准确定位依然是一未很好解决的问题，本文针对文献［６］的不足，仅仅基于一块圆模式平面标靶，提出了一种同时估计和矫正镜头畸变和透视偏差从而获得圆心在图像空间的精确定位方法．值得一提的是，偏差矫正过程采用迭代策略并和相机参数估计过程独立，从而降低了参数估计过程中误差累计的影响［６］，并可通过初始检测的椭圆中心和偏差矫正，获得真实的圆心成像点，从而提高标定精度．模拟数据实验结果表明，通过３次左右迭代就可收敛，矫正后估计的特征点与真实特征点偏差精度可达１０－５像素，从而标定结果几乎完全恢复基准参数，证明了该方法的正确性．真实图像标定结果，也达到了理想的结果．１　相机模型和基于偏差矫正的标定方法在这一部分，首先给出相机模型和标定方法，然后给出特征点的透视和偏差矫正估计方法，最后给出完整的基于圆模式标靶的高精度标定步骤．值得说明的是，本文方法也可适用于其他更复杂的相机模型．１１　相机标定模型标定过程中，平面标靶上的特征点坐标称为世界坐标，记为［ｘｗ，ｙｗ，０］Ｔ，相机坐标系记为［ｘｃ，ｙｃ，ｚｃ］Ｔ，标靶的姿态，包括旋转和平移，记为Ｒ，ｔ；图像空间像素坐标为［ｕ，ｖ］Ｔ．相机成像过程可描述为：ｓｕｖ１＝ｆｘ０ｕ００ｆｙｖ０００１ｘｃｙｃｚｃ＝Ｋｘｃｙｃｚｃ＝Ｋ[]Ｒｔｘｗｙｗ０１＝Ｋｒ１ｒ２[]ｔｘｗｙｗ１＝Ｈｘｗｙｗ１，（１）其中，ｓ为常数比例系数，Ｋ称为相机内部参数矩阵，Ｈ称为单应矩阵，［ｕ０，ｖ０］Ｔ是图像主点，ｆｘ和ｆｙ为焦距，Ｒ、ｔ为标靶的旋转和平移．ｒ１、ｒ２为Ｒ的前两列．由于旋转矩阵Ｒ的列向量单位正交，即ｒＴ１ｒ２＝０，‖ｒ１‖＝‖ｒ２‖＝１，可得内部参数约束等式：ｈＴ１Ｋ－ＴＫ－１ｈ２＝０，ｈＴ１Ｋ－ＴＫ－１ｈ１＝ｈＴ２Ｋ－ＴＫ－１ｈ２＝１}，（２）其中：ｈｉ为单应矩阵Η的第ｉ个行向量．根据上式，由多幅（≥３）不同姿态的标靶图像可以估算相机内部参数矩阵Ｋ以及各标靶的姿态［Ｒｉ，ｔｉ］的初始估计［３］．在相机成像的过程中，相机镜头会产生畸变．令［ｕ，ｖ］Ｔ为像点的非畸变位置，令［ｕ′，ｖ′］Ｔ为畸变位置，那么有下列关系：ｕ[]ｖ＝（１＋ｋ１ｒ２＋ｋ２ｒ４＋ｋ３ｒ６）ｕ′ｖ[]′＋２ｐ１ｕ′ｖ′＋ｐ２（ｒ２＋２ｕ′２）ｐ１（ｒ２＋２ｖ′２）＋２ｐ２[]ｕ′ｖ′，（３）其中：ｋ１、ｋ２、ｋ３为径向畸变系数，ｐ１、ｐ２为切向畸变系数，ｒ是该点距成像中心的距离．假设从Ｎ个不同姿态得到了Ｎ幅标靶图像，每幅图像上有Ｍ个像点．利用前述单应矩阵Ｈ和各标靶姿态的初始估计，并设置初始畸变参数０，再通过最小化以下函数求解畸变参数的初始估计：∑Ｎｉ＝１∑Ｍｊ＝１‖ｍｉｊ－Ｐ（Ｋ，Ｒｉ，ｔｉ，Ｍｊ）‖２，（４）其中：Ｍｊ表示第ｊ个像点对应的标定板上的三维点，Ｐ（Ｋ，Ｒｉ，ｔｉ，Ｍｊ）为Ｍｊ所对应的第ｉ幅图像的投影，ｍｉｊ＝［ｕｉｊ，ｖｉｊ］Ｔ为式（３）中矫正得到的非畸变像素位置．最小化问题最终可以通过ＬｅｖｅｎｂｅｒｇＭａｒｑｕａｒｄｔ算法［１３］优化求解．通过上式可估算出初始畸变参数，利用初始畸变参数和式（３）对成像特征点做矫正，再重新估计相机内部参数矩阵Ｋ和各标靶的姿态，然后利用公式（４）对畸变系数重新估计．上述过程一直进行到预设的精度达到为止．１２　基于偏差矫正的相机标定策略由于透视偏差和图像畸变的存在，当标定平面与图像平面存在旋转和位移时，标定板上的圆形投影在图像平面之后会变成近似的椭圆，但成像椭圆的中心并非标靶上对应圆心的投影，因此利用成像椭圆中心进行相机标定会降低标定精度．针对这个问题，本文提出了采用迭代的方法对投影椭圆中心进行偏差矫正．３７４烟台大学学报（自然科学与工程版）第３３卷　偏差矫正基于如下事实：利用成像椭圆中心进行标定时，由于存在透视和畸变偏差，得到的相机内部和外部参数并不精确，因此利用得到的相机内部和外部参数重建图像也会产生偏差．如图１所示，实线椭圆为成像椭圆，虚线椭圆为重建椭圆，两者并不重合，也会存在位置偏差．也就是说成像椭圆中心和重建椭圆中心并不重合．另外，实线椭圆的中心（图１十字线）就是重建虚线椭圆的对应标靶圆心的投影（标定时使用）．换句话说，虚线椭圆的中心是图１中实心点，其真实的标靶圆心投影就是图１中十字线（对应实线椭圆的中心）．因此如果移动虚线椭圆和实线椭圆重合，那么图１中十字线（成像椭圆中心）移动到位置就是成像椭圆对应标靶圆心的精确成像点．即在成像椭圆中心坐标上加上使２个椭圆重合的偏差向量，就能得到无偏差的标靶圆心投影估计．图１　成像椭圆与重建椭圆对比Ｆｉｇ．１　Ｉｍａｇｉｎｇｅｌｌｉｐｓｅｖｅｒｓｕｓｒｅｃｏｎｓｔｒｕｃｔｅｄｅｌｌｉｐｓｅ从上面分析不难看出，圆心在图像投影空间的精确定位，可以通过图像重建来达到，即利用估计的相机内部和外部参数对平面标靶进行投影重建，如果重建图像和实际获得的标靶图像重合，就可获得圆心投影的精确估计．重建图像和实际图像的重合度估计可以采用图像匹配的方法，但这种策略速度慢，不利于实际应用．在这里，本文采用一种简便实用的方法：对实际图像获得的近似椭圆中心和重建图像近似椭圆的中心进行比较，就可以同时获得透视和畸变偏差估计，得到精确的圆心投影估计．椭圆的中心估计有２种方法，圆锥曲线投影法［６］和采样投影拟合法．圆锥曲线投影法的优点是无须对标靶上的圆轮廓采样，可以和相机内部和外部参数结合一次得到圆心投影，但圆锥曲线投影法仅适合在无畸变空间进行．当镜头存在畸变时，将圆锥曲线投影法得到的椭圆中心变换到畸变空间，并不是真正的圆心的成像点，存在一定的畸变偏差，这也正是文献［６］首先利用ＣａｌｉｂｒａｔｉｏｎＨａｒｐ辅助工具进行镜头畸变参数标定，然后在畸变校正图像上进行透视偏差矫正的原因．因此，本文采用下述采样法．估计透视和畸变偏差时，需要对标靶上的圆轮廓进行采样，并投影到图像空间拟合椭圆（图１中虚线椭圆）和原始空间中检测到的椭圆进行比较．平面标靶上每个圆上采样点的世界坐标可按照下式计算：ｘ′ｊｋｙ′[]ｊｋ＝ｘｊ＋ｒｃｏｓ２πｋ()Ｌｙｊ＋ｒｓｉｎ２πｋ()Ｌ，（５）其中：［ｘｊ，ｙｊ］Ｔ为平面标靶上第ｊ个圆的中心坐标，Ｌ为采样点数，ｋ＝０，１，２，…，Ｌ－１为每个圆上的采样点下标，ｒ为标靶上圆的半径．设检测的椭圆中心坐标为［ｕ，ｖ］Ｔ，作为矫正基准保持不变．利用相机参数投影拟合的椭圆中心记为［ｕ′，ｖ′］Ｔ．那么透视和畸变综合偏差［Δｕ，Δｖ］Ｔ可由下式得到：ΔｕΔ[]ｖ＝ｕ[]ｖ－ｕ′ｖ[]′，（６）设［ｕ′，ｖ′］Ｔ为重新估计的标靶圆心成像坐标，其初值［ｕ′，ｖ′］Ｔ＝［ｕ，ｖ］Ｔ．根据上述计算方法，可由式（７）得到重估的标靶圆心成像坐标：ｕ′ｖ[]′＝ｕ′ｖ[]′＋ΔｕΔ[]ｖ．（７）利用重新估计的圆心投影［ｕ′，ｖ′］Ｔ和１１节描述的算法，对相机参数重新计算，然后再计算重建偏差，重估标靶圆心成像坐标，再对相机参数重新估计．这个过程一直进行下去，直到偏差不再变化为止．在实际计算过程中，设置ｄｔ＝‖［Δｕ，Δｖ］Ｔ‖，ｔ为迭代次数，ｄ０＝０，设ε＝｜ｄｔ＋１－ｄｔ｜，当ε小于预置的精度时停止迭代．综上所述，总体标定步骤具体如下：步骤１　准备一块上有Ｍ个圆的平面标靶，以不同姿态拍摄Ｎ幅图像（Ｎ≥３），检测的椭圆中心用［ｕｉｊ，ｖｉｊ］Ｔ表示，其中ｉ＝１，２，…，Ｎ，ｊ＝１，２，…，Ｍ．在后面偏差估计过程中始终保持不变；步骤２　用［ｕ′ｉｊ，ｖ′ｉｊ］Ｔ表示标靶圆心成像的重估值，初值为［ｕｉｊ，ｖｉｊ］Ｔ．重建成像偏差用［Δｕｉｊ，Δｖｉｊ］Ｔ表示．在偏差矫正过程中我们用平均偏差控制迭代过程：ｄｔ＝１ＭＮ∑Ｎｉ＝０∑Ｍｊ＝０‖［Δｕｉｊ，Δｖｉｊ］Ｔ‖，（８）并设ε＝｜ｄｔ＋１－ｄｔ｜，ｄ０＝０，其中ｔ为迭代次数；步骤３　根据［ｕ′ｉｊ，ｖ′ｉｊ］Ｔ利用前述相机标定算法获得一组相机内部和外部参数，并利用新的相机内部和外部参数更新［ｕ′ｉｊ，ｖ′ｉｊ］Ｔ为标靶圆心的成像点（实际逼近的图像对应特征点）；４７４　第４期辛　睿，等：基于圆形模式平面标靶的高精度相机标定方法步骤４　按照公式（５）对标靶圆轮廓进行采样，按照最新估计的相机参数将采样点投影到图像空间，并拟合椭圆，得到的椭圆中心记为［ｕｉｊ′，ｖｉｊ′］Ｔ；步骤５　按照下式计算检测的椭圆中心［ｕｉｊ，ｖｉｊ］Ｔ与重建拟合的椭圆中心［ｕｉｊ″，ｖｉｊ″］Ｔ的偏差向量［Δｕｉｊ，Δｖｉｊ］Ｔ和平均偏差ｄｔ：ΔｕｉｊΔｖ[]ｉｊ＝ｕｉｊｖ[]ｉｊ－ｕｉｊ″ｖｉｊ[]″，ｄｔ＝１ＭＮ∑Ｎｉ＝０∑Ｍｊ＝０‖［Δｕｉｊ，Δｖｉｊ］Ｔ‖．（９）步骤６　如果平均偏差ε小于预定精度，算法结束，否则进入第７步；步骤７　重新估计标靶圆心的成像坐标：ｕ′ｉｊｖ′[]ｉｊ＝ｕ′ｉｊｖ′[]ｉｊ＋ΔｕｉｊΔｖ[]ｉｊ．（１０）步骤８　利用第７步得到的重估的圆心成像点，返回第３步继续．通过以上的标定过程可知，本文算法和相机模型参数估计过程是独立的，因此通过简单修改，也适合在相机内部参数已经标定好的情况下，得到高精度的姿态估计参数．姿态参数估计是只需一幅标靶图像，可以固定相机内部参数并通过矫正畸变和透视偏差得到高精度的特征对应点，从而得到高精度的标靶姿态估计．这在实际工业领域有广泛应用，比如汽车四轮定位，机器人定位导航等等．具体修改方法如下：步骤１改为拍摄一副图像即Ｎ＝１；将步骤３改为估计标靶的姿态参数，即旋转矩阵Ｒ和平移向量ｔ（相机参数已经标定好，保持不变）．２　实验与结果２１　模拟标定实验本模拟实验的目的是要验证，仅仅根据成像椭圆中心，通过本文提出偏差矫正方法就可获得精确的标靶圆心对应特征点，从而恢复精确基准相机参数．在模拟实验中，相机的基准参数由实际标定过程获取的参数稍加修改得到．实验所用的椭圆及其中心坐标可利用基准相机参数和特定尺寸的圆模式标靶生成．模拟实验图像分辨率为６８０像素×４８０像素，标靶圆心距为１０ｍｍ，圆半径为３ｍｍ的７×７圆形阵列标靶．相机基准参数包括相机内部参数和１３组不同的姿态参数，由此获得１３幅不同图像．首先，使用式（５）对标靶圆轮廓进行采样，采样点数为５０（实验发现２４以上都可行），并使用基准相机参数将其投影到图像空间，并拟合得到椭圆中心，将其作为对应特征点使用１１节算法进行标定，得到经典算法［３］标定结果．然后将其作为初值使用本文算法进行标定．算法迭代３次，结果收敛．表１给出了标定结果对比．从表１结果可以看出与基准相机参数比较，经典算法［３］得出的最大误差为０１像素左右，本文算法的最大误差为１０－５像素左右，基准相机参数完全得到恢复．表１　模拟实验结果对比Ｔａｂ．１　Ｃｏｍｐａｒｉｓｏｎｏｆｓｉｍｕｌａｔｉｏｎｅｘｐｅｒｉｍｅｎｔａｌｒｅｓｕｌｔｓ相机参数参考值质心法［３］本文方法ｆｘ５３００３５３００２０３３６３６６４１３４５３００２９９９７２０４３００１ｆｙ５３０２１５３０２０１５０２３２９７３７７５３０２０９９９９４９２１９３７ｕ０３３８８８３３８８８５３２５４９３８００５３３８８８００３５２９２９２８９ｖ０２３２３３２３２２８６５１０７４９３４３９２３２３２９９９３９６８７２５９ｋ１－０２６－０２６１０５０９１７３１１２８８－０２６００００００７２２４９６７ｋ２－００６４－００５９１５６４４６０６３０５７－００６４００００７４９８７５２２ｋ３０３３０３２８７４２６４１６６７９５８０３２９９９９９３４６３４９２７ｐ１００００７２００００７３２３２４８６７２９１００００７１９９９７２５８１５６ｐ２－０００１０－０００１００３８３５７０２１３２－００００９９９９９４４４３７６８ｒｘ１０３８０３７９５０７６５７２６９８０６０３７９９９９９３６２０９５３３ｒｙ１０１４０１３９９０４９５４３５４１２４０１３９９９９９１２０１５６４４ｒｚ１０１７０１７００１９５８６１８１７７３０１７０００００１９３２３３８５ｔｘ１－１９０８－１９０６８２８５６３１９１６５－１９０８０００６６８８９５５５ｔｙ１－１４１６－１４１７８７２２８８１１５６１－１４１５９９９９０１９４４７５ｔｚ１１０７３５１０７４０３５９４３８０９６５１０７３４９９９９９２１３３８５７４烟台大学学报（自然科学与工程版）第３３卷　另外，为了说明本文算法利用椭圆中心和矫正偏差估计得到的对应特征点精确性，我们利用相机基准参数对标靶圆心的进行投影得到真实的对应特征点．图２给出了真实对应特征点（标靶圆心成像坐标）和椭圆中心坐标的误差分布如图２（ａ）和本文算法估计得到的恢复标靶圆心成像坐标误差分布图２（ｂ），均方误差分别为０１０６０６８像素和１４６５１６×１０－６像素．从图２（ａ）可以看到真实对应特征点（标靶圆心成像坐标）并非椭圆中心，误差分布较大，因此利用椭圆中心进行标定降低了精度．而通过本文算法利用椭圆中心作为初始值得到的对应特征点几乎恢复了真实的特征点．由此可见，只要能够精确检测到椭圆中心坐标，按照本文算法可以精确估计真实的标靶圆心成像坐标，得到理想的标定结果．相比较文献［６］中方法，由于首先要利用ＣａｌｉｂｒａｔｉｏｎＨａｒｐ畸变标定工具标定畸变参数，工具本身存在检测、量化等误差，对模拟结果有一定影响，其模拟实验精度获得的相机参数最高精度为０００８像素左右，而我们的模拟误差最大为１０－５像素．,-.,-./0123/*0,1.4526,2.'7!+89图２　标靶圆心成像坐标估计误差分布Ｆｉｇ．２　Ｅｒｒｏｒｄｉｓｔｒｉｂｕｔｉｏｎｏｆｉｍａｇｉｎｇｃｏｏｒｄｉｎａｔｅｅｓｔｉｍａｔｉｏｎｆｏｒｒｅａｌｔａｒｇｅｔｃｉｒｃｌｅｃｅｎｔｅｒ值得一提的是，本文算法收敛速度很快，无论是模拟图像和实际图像，经过３次左右迭代就能达到收敛目标．原因很简单：椭圆中心作为标靶上圆心的对应有偏差，但仍然是较好的近似，由此计算的相机内部和外部参数同样也是一较好的逼近，这也是圆模式平面标靶多年来广泛应用的原因．实际上，从原理上看，本文的策略是利用初始相机参数重建的椭圆图像和原始椭圆对比，迭代１次偏差几乎可以得到校正，参考图２（ｃ），但校正后，利用重新计算的相机参数重建的椭圆和原始图像中椭圆可能还存在较小的误差，因此，本文采用多次校正的策略，发现４次迭代，相对收敛误差就可达到１０－５像素（预设阈值）．２２　实际图像标定实验在对实际图像进行标定时，真实的圆心投影点未知，因此无法通过特征点的恢复来验证精度，但可通过椭圆重建的重合度来验证算法的有效性．即可以利用标定得到的相机参数对标靶进行投影重建得到椭圆图像，并和原始对应椭圆图像比较其重合度．而椭圆的重合度可通过比较其中心偏差来估计．实际图像实验图像分辨率设为１２８０像素×１０２４像素．标靶为５×５圆阵列，圆直径为２２ｍｍ，中心距为２７ｍｍ，实验总共获取１２幅不同姿态的图像．首先，对实际图像提取椭圆中心作为特征点标定相机，然后再使用本文算法进行迭代，算法３次后收敛，如图３（ｃ）为迭代误差曲线图．图３给出了椭圆中心重合度误差分布对比散点图．传统标定方法［３］结果重合度的均方误差为０１４１９８４像素，本文算法的均方误差为００１８０３２５像素．从图３可以看出，由于透视投影和镜头畸变，实际检测的椭圆中心和真实的标靶圆心的成像点并不重合，因此利用椭圆中心标定得到的相机参数重建椭圆和实际图像椭圆中心偏差较大，而采用本文的算法大大消除了透视和镜头畸变产生偏差，估计的特征点更接近真实标靶圆心成像点，因此重建误差也很小．同时说明本文算法可以得到的标定结果精度更高．我们注意到实际图像和模拟实验相６７４　第４期辛　睿，等：基于圆形模式平面标靶的高精度相机标定方法比精度相差较大，这是由于实际数字图像的获取存在一定的量化误差和环境噪声，椭圆的识别存在误差，因此无法精确估计椭圆的中心坐标造成的．另外，标定精度也会受图像分辨率的影响；在同样的噪声环境下，拍摄图像的分辨率越高，其标定精度也会相应提高．值得说明的是，由于镜头畸变和透视偏差，标靶上圆的成像只是近似的椭圆，但并不影响本文算法．只要检测图像的特征点和重建图像的特征点在标定时特征一致，本文算法就可以通过矫正透视投影和镜头畸变产生的偏差，提高标定精度．,-.,-./0123/+0,1.4526,2.'7!+89图３　传统标定结果和本文算法重建误差分布Ｆｉｇ．３　Ｅｒｒｏｒｄｉｓｔｒｉｂｕｔｉｏｎｏｆｔｒａｄｉｔｉｏｎａｌａｌｇｏｒｉｔｈｍａｎｄｏｕｒｍｅｔｈｏｄ３　结束语特征点精确估计是相机标定过程中非常重要的部分．圆模式平面标靶是一常用的相机标定工具，相对棋盘标靶，有制造容易、特征点恢复受光照和噪声的影响较小的特点．但由于透视和镜头畸变，提取的椭圆中心会和实际标靶圆心成像点产生偏差，从而降低了标定精度．本文提出了一种通过透视偏差和畸变偏差矫正精确估计圆心实际成像坐标的方法和相机参数标定策略，可以和现有的相机标定方法无缝结合，得到高精度的标定结果．另外，在相机标定好的情况下，也可以使用本文算法产生高精度的标靶姿态参数，以应用于机器人引导、定位等领域．值得一提的是，本文的研究成果已应用到基于３Ｄ视觉的汽车四轮定位中，并取得了良好的效果．参考文献：［１］　ＴＳＡＩＲ．Ａｖｅｒｓａｔｉｌｅｃａｍｅｒａｃａｌｉｂｒａｔｉｏｎｔｅｃｈｎｉｑｕｅｆｏｒｈｉｇｈａｃｃｕｒａｃｙ３ＤｍａｃｈｉｎｅｖｉｓｉｏｎｍｅｔｒｏｌｏｇｙｕｓｉｎｇｏｆｆｔｈｅｓｈｅｌｆＴＶｃａｍｅｒａｓａｎｄｌｅｎｓｅｓ［Ｊ］．ＩＥＥＥＪｏｕｒｎａｌｏｎＲｏｂｏｔｉｃｓａｎｄＡｕｔｏｍａｔｉｏｎ，１９８７，３（４）：３２３－３４４．［２］　ＨＥＩＫＫＩＬＡＪ．Ｇｅｏｍｅｔｒｉｃｃａｍｅｒａｃａｌｉｂｒａｔｉｏｎｕｓｉｎｇｃｉｒｃｕｌａｒｃｏｎｔｒｏｌｐｏｉｎｔｓ［Ｊ］．ＩＥＥＥＴｒａｎｓａｃｔｉｏｎｓｏｎＰａｔｔｅｒｎＡｎａｌｙｓｉｓａｎｄＭａｃｈｉｎｅＩｎｔｅｌｌｉｇｅｎｃｅ，２０００，２２（１０）：１０６６－１０７７．［３］　ＺＨＡＮＧＺＹ．Ａｆｌｅｘｉｂｌｅｎｅｗｔｅｃｈｎｉｑｕｅｆｏｒｃａｍｅｒａｃａｌｉｂｒａｔｉｏｎ［Ｊ］．ＩＥＥＥＴｒａｎｓａｃｔｉｏｎｓｏｎＰａｔｔｅｒｎＡｎａｌｙｓｉｓａｎｄＭａｃｈｉｎｅＩｎｔｅｌｌｉｇｅｎｃｅ，２０００，２２（１１）：１３３０－１３３４．［４］　ＤＯＵＸＣＨＡＭＰＳＤ，ＣＨＩＨＡＲＡＫ．Ｈｉｇｈａｃｃｕｒａｃｙａｎｄｒｏｂｕｓｔｌｏｃａｌｉｚａｔｉｏｎｏｆｌａｒｇｅｃｏｎｔｒｏｌｍａｒｋｅｒｓｆｏｒｇｅｏｍｅｔｒｉｃｃａｍｅｒａｃａｌｉｂｒａｔｉｏｎ［Ｊ］．ＩＥＥＥＴｒａｎｓａｃｔｉｏｎｓｏｎＰａｔｔｅｒｎＡｎａｌｙｓｉｓａｎｄＭａｃｈｉｎｅＩｎｔｅｌｌｉｇｅｎｃｅ，２００９，３１（２）：３７６－３８３．［５］　ＶＯＭ．Ａｄｖａｎｃｅｄｇｅｏｍｅｔｒｉｃｃａｍｅｒａｃａｌｉｂｒａｔｉｏｎｆｏｒｍａｃｈｉｎｅｖｉｓｉｏｎ［Ｊ］．ＯｐｔｉｃａｌＥｎｇｉｎｅｅｒｉｎｇ，２０１１，５０（１１）：１１０５０３．［６］　ＲＵＤＡＫＯＶＡＶ，ＭＯＮＡＳＳＥＰ．Ｃａｍｅｒａｍａｔｒｉｘｃａｌｉｂｒａｔｉｏｎｕｓｉｎｇｃｉｒｃｕｌａｒｃｏｎｔｒｏｌｐｏｉｎｔｓａｎｄｓｅｐａｒａｔｅｃｏｒｒｅｃｔｉｏｎｏｆｔｈｅｇｅｏｍｅｔｒｉｃｄｉｓｔｏｒｔｉｏｎｆｉｅｌｄ［Ｍ］／／ＣａｍｅｒａＭａｔｒｉｘＣａｌｉｂｒａｔｉｏｎＵｓｉｎｇＣｉｒｃｕｌａｒＣｏｎｔｒｏｌＰｏｉｎｔｓａｎｄＳｅｐａｒａｔｅＣｏｒｒｅｃｔｉｏｎｏｆｔｈｅＧｅｏｍｅｔｒｉｃＤｉｓｔｏｒｔｉｏｎＦｉｅｌｄ．ＩＥＥＥ，２０１４．［７］　ＴＡＮＧＺ．Ｈｉｇｈａｃｃｕｒａｃｙｍｅａｓｕｒｅｍｅｎｔｉｎ３ｄｓｔｅｒｅｏｒｅｃｏｎｓｔｒｕｃｔｉｏｎ［Ｄ］．Ｐａｒｉｓ：ＥＮＳＣａｃｈａｎ，２０１１．［８］　刘子腾，白瑞林，王秀平．视觉标定中圆心投影点精确定位［Ｊ］．激光与光电子学进展，２０１５，５２（９）：１１０－１１５．［９］　谷飞飞，赵宏，卜鹏辉，等．用于相机标定的球靶标投影误差分析与校正［Ｊ］．光学学报，２０１２，３２（１２）：２１６－２２２．［１０］　于瑾，陈超，高楠，等．基于相位标靶的相机标定［Ｊ］．激光与光电子学进展，２０１８，５５（１１）：２７０－２７６．［１１］　王道累，胡松．基于量子粒子群优化算法的摄像机标定优化方法［Ｊ］．激光与光电子学进展，２０１８，５５（１２）：７７４烟台大学学报（自然科学与工程版）第３３卷　３８６－３９１．［１２］　向鹏，周宾，祝仰坤，等．复杂环境下基于深度神经网络的摄像机标定［Ｊ］．激光与光电子学进展，２０１９，５６（１１）：２１４－２２２．［１３］　ＭＯＲ?ＪＪ．ＴｈｅＬｅｖｅｎｂｅｒｇＭａｒｑｕａｒｄｔａｌｇｏｒｉｔｈｍ：Ｉｍｐｌｅｍｅｎｔａｔｉｏｎａｎｄｔｈｅｏｒｙ［Ｊ］．ＬｅｃｔｕｒｅＮｏｔｅｓｉｎＭａｔｈｅｍａｔｉｃｓ，１９７８，６３０：１０５－１１６．ＨｉｇｈＰｒｅｃｉｓｉｏｎＣａｍｅｒａＣａｌｉｂｒａｔｉｏｎＭｅｔｈｏｄＵｓｉｎｇＰｌａｎａｒＴａｒｇｅｔｗｉｔｈＣｉｒｃｕｌａｒＤｏｔＰａｔｔｅｒｎｓＸＩＮＲｕｉ，ＷＵＳｈｕａｎｈｕ，ＬＩＡｉｊｕａｎ（ＳｃｈｏｏｌｏｆＣｏｍｐｕｔｅｒａｎｄＣｏｎｔｒｏｌＥｎｇｉｎｅｅｒｉｎｇ，ＹａｎｔａｉＵｎｉｖｅｒｓｉｔｙ，Ｙａｎｔａｉ２６４００５，Ｃｈｉｎａ）Ａｂｓｔｒａｃｔ：Ｃａｍｅｒａｃａｌｉｂｒａｔｉｏｎｉｓａｋｅｙｐｒｏｃｅｄｕｒｅｆｏｒａｃｃｕｒａｔｅｔｈｒｅｅｄｉｍｅｎｓｉｏｎａｌｖｉｓｕａｌｍｅａｓｕｒｅｍｅｎｔ．ＰｌａｎａｒｔａｒｇｅｔｗｉｔｈＣｉｒｃｕｌａｒｄｏｔｐａｔｔｅｒｎｓｉｓａｃｏｍｍｏｎｌｙｕｔｉｌｉｚｅｄｃａｌｉｂｒａｔｉｏｎｔｏｏｌｓｗｉｔｈｔｈｅａｄｖａｎｔａｇｅｓｏｆｍａｎｕｆａｃｔｕｒｉｎｇｓｉｍｐｌｉｃｉｔｙａｎｄｍｏｄｅｓｔｒｅｓｉｓｔａｎｃｅｔｏａｍｂｉｅｎｔｌｉｇｈｔａｎｄｎｏｉｓｅ．Ｈｏｗｅｖｅｒ，ｄｕｅｔｏｌｅｎｓｄｉｓｔｏｒｔｉｏｎａｎｄｐｅｒｓｐｅｃｔｉｖｅｂｉａｓｉｔｓｅｌｌｉｐｓｅｃｅｎｔｅｒｄｏｅｓｎｏｔｏｖｅｒｌａｐｗｉｔｈｔｈｅｆｅａｔｕｒｅｃｏｒｒｅｓｐｏｎｄｅｎｃｅｐｏｉｎｔｉｎｍｏｓｔｃａｓｅｓ．Ｃａｌｉｂｒａｔｉｏｎａｃｃｕｒａｃｙｗｉｌｌｈａｖｅｔｏｂｅｓａｃｒｉｆｉｃｅｄｉｆｗｅａｌｉｇｎｔｈｅｍｔｏｏｎｅｓｉｎｇｌｅｐｏｉｎｔ．Ｔｏｓｏｌｖｅｔｈｉｓｐｒｏｂｌｅｍ，ａｍｅｔｈｏｄｉｓｐｒｏｐｏｓｅｄｉｎｔｈｉｓｒｅｓｅａｒｃｈｆｏｒｓｉｍｕｌｔａｎｅｏｕｓｃｏｒｒｅｃｔｉｏｎｏｆｂｏｔｈｐｅｒｓｐｅｃｔｉｖｅａｎｄｄｉｓｔｏｒｔｉｏｎｂｉａｓｔｏｇｅｔｔｈｅｌｅｎｓｃｅｎｔｅｒａｎｄ，ｓｕｂｓｅｑｕｅｎｔｌｙ，ａｃｃｕｒａｔｅｃａｌｉｂｒａｔｉｏｎ．Ｔｈｅｒｅｓｕｌｔｓｏｆｓｔｉｍｕｌａｔｉｖｅｅｘｐｅｒｉｍｅｎｔｓａｎｄｒｅａｌｉｍａｇｅｐｒｏｃｅｓｓｉｎｇｐｒｏｖｅｔｈｅｅｆｆｅｃｔｉｖｅｎｅｓｓｏｆｔｈｅｐｒｏｐｏｓｅｄｍｅｔｈｏｄ．Ｉｎａｄｄｉｔｉｏｎｔｈｅｍｅｔｈｏｄｆｏｒｐｅｒｓｐｅｃｔｉｖｅａｎｄｄｉｓｔｏｒｔｉｏｎｃｏｒｒｅｃｔｉｏｎｉｓｉｎｄｅｐｅｎｄｅｎｔｏｆｔｈｅｃａｍｅｒａｉｎｔｅｒｎａｌｐａｒａｍｅｔｅｒｅｓｔｉｍａｔｉｏｎｐｒｏｃｅｓｓ，ｗｈｉｃｈｉｎｄｉｃａｔｅｓｉｔｓｖａｌｉｄｉｔｙｗｈｅｎａｐｐｌｉｅｄｔｏｍｏｒｅｃｏｍｐｌｅｘｃａｍｅｒａｍｏｄｅｌｓ．Ｋｅｙｗｏｒｄｓ：ｃａｍｅｒａｃａｌｉｂｒａｔｉｏｎ；ｐｅｒｓｐｅｃｔｉｖｅａｎｄｄｉｓｔｏｒｔｉｏｎｂｉａｓ；ｂｉａｓｃｏｒｒｅｃｔｉｏｎ；ｃｉｒｃｕｌａｒｄｏｔｐａｔｔｅｒｎｓｔａｒｇｅｔ（责任编辑　苏晓东）（上接第４１７页）Ａｂｓｔｒａｃｔ：Ｗｅｐｒｅｓｅｎｔａｎｅｘｐｅｒｉｍｅｎｔａｌｓｔｕｄｙｔｏｅｘｐｌｏｒｅｗｈｅｔｈｅｒｔｈｅｃｏｍｂｉｎａｔｉｏｎｏｆｔｈｅａｎｉｎｅｄｅｒｉｖａｔｉｖｅ（ＴＮＣ）ａｎｄｇｅｆｉｔｉｎｉｂｃａｎｅｎｈａｎｃｅｔｈｅｒｅｐｒｅｓｓｉｖｅｅｆｆｅｃｔｓｏｆｇｅｆｉｔｉｎｉｂｏｎｔｈｅｍｉｇｒａｔｉｏｎｏｆｈｕｍａｎｎｏｎｓｍａｌｌｃｅｌｌｌｕｎｇａｄｅｎｏｃａｒｃｉｎｏｍａＡ５４９ｃｅｌｌｓ，ａｎｄｐｒｏｖｉｄｅｐｒｏｏｆｓｆｏｒｉｎｈｉｂｉｔｉｎｇｄｉｓｔａｎｔｍｅｔａｓｔａｓｉｓｏｆｌｕｎｇｃａｎｃｅｒａｎｄｒｅｄｕｃｉｎｇｔｈｅｓｉｄｅｅｆｆｅｃｔｓｏｆｇｅｆｉｔｉｎｉｂ．Ｔｈｅｗｏｕｎｄｈｅａｌｉｎｇａｓｓａｙｉｓｕｓｅｄｔｏｅｘａｍｉｎｅｃｈａｎｇｅｓｉｎｔｈｅｃｅｌｌｍｉｇｒａｔｉｏｎｂｅｆｏｒｅａｎｄａｆｔｅｒｔｈｅｃｏｍｂｉｎａｔｉｏｎｔｒｅａｔｍｅｎｔｓ．Ｅｐｉｔｈｅｌｉａｌｍｅｓｅｎｃｈｙｍａｌｔｒａｎｓｉｔｉｏｎ（ＥＭＴ）ｉｎｄｕｃｔｉｏｎｅｘｐｅｒｉｍｅｎｔｓｃｏｍｂｉｎｅｄｗｉｔｈｔｈｅｔｒａｎｓｗｅｌｌｃｈａｍｂｅｒａｓｓａｙａｒｅｕｓｅｄｔｏｏｂｓｅｒｖｅｔｈｅｅｆｆｅｃｔｓｏｆｃｏｍｂｉｎｅｄｔｒｅａｔｍｅｎｔｏｎｔｈｅｍｉｇｒａｔｉｏｎａｂｉｌｉｔｙｏｆＡ５４９ａｆｔｅｒＥＭＴｏｃｃｕｒｒｉｎｇ．Ｗｅｓｔｅｒｎｂｌｏｔｔｉｎｇｉｓｕｓｅｄｔｏｄｅｔｅｃｔｔｈｅｅｘｐｒｅｓｓｉｏｎｓｏｆｒｅｌａｔｅｄｐｒｏｔｅｉｎｓ．ＴｈｅｒｅｓｕｌｔｓｓｈｏｗｔｈａｔＴＮＣａｎｄｇｅｆｉｔｉｎｉｂｓｉｇｎｉｆｉｃａｎｔｌｙｉｎｈｉｂｉｔｓｔｈｅｍｉｇｒａｔｉｏｎｏｆＡ５４９ｃｅｌｌｓ，ｔｈｅｉｎｔｅｒｓｔｉｔｉａｌｍａｒｋｅｒｓＮｃａｄｈｅｒｉｎａｎｄＶｉｍｅｎｔｉｎａｒｅｓｉｇｎｉｆｉｃａｎｔｌｙｄｏｗｎｒｅｇｕｌａｔｅｄ，ａｎｄｔｈｅｅｘｐｒｅｓｓｉｏｎｏｆｅｐｉｔｈｅｌｉａｌｍａｒｋｅｒＥＣａｄｈｅｒｉｎｉｓｕｐｒｅｇｕｌａｔｅｄ．ＭｉｇｒａｔｉｏｎｒｅｌａｔｅｄｔｒａｎｓｃｒｉｐｔｉｏｎｉｎｈｉｂｉｔｏｒｓＺＥＢ，Ｓｌｕｇ，ＴｗｉｓｔａｎｄＳｎａｉｌａｒｅａｌｓｏｓｉｇｎｉｆｉｃａｎｔｌｙｄｏｗｎｒｅｇｕｌａｔｅｄ．ＴｈｅｐｒｏｔｅｉｎｅｘｐｒｅｓｓｉｏｎｓｏｆＡＫＴ，ＮＦ κＢ，ＥＧＦ，ＨＧＦ，ｃＭＥＴ，ａｎｄＫＲａｓａｒｅｓｉｇｎｉｆｉｃａｎｔｌｙｄｅｃｒｅａｓｅｄ．ＯｕｒｒｅｓｅａｒｃｈｓｕｇｇｅｓｔｓｔｈａｔＴＮＣｉｎｃｏｍｂｉｎａｔｉｏｎｗｉｔｈｇｅｆｉｔｉｎｉｂｍａｙｅｎｈａｎｃｅｔｈｅｉｎｈｉｂｉｔｏｒｙｅｆｆｅｃｔｓｏｆｇｅｆｉｔｉｎｉｂｏｎＡ５４９ｃｅｌｌｍｉｇｒａｔｉｏｎｂｙｓｕｐｐｒｅｓｓｉｎｇｔｈｅｐｒｏｃｅｓｓｏｆＥＭＴ．Ｋｅｙｗｏｒｄｓ：ＴＮＣ；ｇｅｆｉｔｉｎｉｂ；ｃｏｍｂｉｎａｔｉｏｎ；ｍｉｇｒａｔｉｏｎ；ｅｐｉｔｈｅｌｉａｌｍｅｓｅｎｃｈｙｎａｌｔｒａｎｓｉｔｉｏｎ（ＥＭＴ）；ｉｎｈｉｂｉｔｉｏｎ（责任编辑　周雪莹）８７４。

基于圆点阵列的多相机外部参数标定

基于圆点阵列的多相机外部参数标定何国辉;黄文军【摘要】为了降低标定多次坐标变换而造成的误差，针对圆点标定板的特性，提出了一种基于圆点内具有数字标记的全局标定方法。

其关键步骤包括：首先在标定板的某些圆内用数字做标记，并记下带有标记的圆点的物理坐标，然后通过模板匹配的方法快速找到标记有特殊数字的圆点，通过2D仿射变换将图像坐标转换成工作台物理坐标，计算出外部参数。

实验结果表明，该方法操作简便，标定残差的平均误差在2μm以下，能够满足实际标定应用要求。

%In order to reduce error caused by multiple calibrations, in light of the characteristics of the dot calibration board, this paper proposes a global calibration method based in dots with a digital signature. The key steps include: first mark with numerals in some circles on the calibration board, and take down the physical coordinates of the marked dot, then quickly locate the dots with special figures by adopting the template matching method, and finally transform the image coordinates into physical coordinates of the workbench through a 2D affine transformation and get the external parameters by calculation. Experimental results show that the method is easy to operate; the average calibration error of is under2μmand can meet the actual calibration application requirements.【期刊名称】《五邑大学学报（自然科学版）》【年(卷),期】2015(000)004【总页数】6页(P32-36,47)【关键词】全局标定;数字标记点;残差【作者】何国辉;黄文军【作者单位】五邑大学计算机学院，广东江门 529020;五邑大学计算机学院，广东江门 529020【正文语种】中文【中图分类】TP391.41随着计算机图像采集、图像处理技术的迅速发展，计算机视觉理论和技术已被广泛应用于工业测量等行业. 平面图像测量是一种非接触的测量方法，能很快获得被测物体的几何信息，具有检测方便、快捷、直观等优点. 但是为了获得精确的测量结果，通常需要对摄像机（相机）的内参数和被测平面相对于摄像机的外参数进行标定，它是应用计算机视觉进行现场测量和图像处理过程中基本且关键的一步.在标定中常用到事先设计好的标定靶标，目前摄像机（相机）标定中使用较多的2D平面靶标中，主要有棋盘格靶标、网格靶标和圆点阵列靶标等. 由于圆点阵列靶标以其独特的形状易于识别和提取，因而通常使用圆点阵列靶标，并用圆点靶标图像的几何中心坐标近似地作为圆点靶标图像的圆心，从而对摄像机（相机）的外部参数进行标定. 目前常用的标定方法有直接线性法、Tsai两步标定法、自标定方法和基于主动视觉的标定方法等.在以往的应用过程，外部参数的获取通常需要在测量现场进行精确标定，主要是通过人工建立坐标系，然后计算圆心所在的位置来确定物理坐标，从而得到外部参数以实现图像坐标与工作台物理坐标的转换. 显然，这种方法会影响到摄像机标定的效率[1]. 为此本文提出了一种新方法，即先在标定板的某些圆点里用阿拉伯数字做好标记，并记下该带有标记数字的圆的物理坐标，然后通过模板匹配的方法快速找到标记有特殊数字的圆，再利用这些带有特殊数字的圆的物理坐标为已知的条件，计算出外部参数，从而实现坐标转换. 通过多相机的外部参数标定，可以实现将多个相机建立在同一个工作台坐标系统系中.1 标定系统概况本文以丝印行业的多相机测量系统为研究对象，对具有6个相机的测量系统做了全局标定，该系统的实物图如图1所示. 对应图1系统的标定板设计图如图2所示，尺寸大小为，其内部白色矩形区域分别为6个相机在其上方的可调节视野范围，标定板制造工艺精度为. 图3显示了其中某个相机的视野范围（标定板中由7行10列组成的圆点阵列），该圆点半径为，圆点间的水平方向和垂直方向的圆心距均为. 为了快速地找到特征点，在圆点上将有规律地设置一些数字标记，如该圆点阵列区中标有数字为4的特征标记.根据图1所示相机工位将相机安装好后，就可以首先利用6个相机分别采集6组图像，将图像经过滤波处理去除噪声，对图像进行二值化；然后提取轮廓，利用提取的轮廓信息进行拟合圆；再进行数字标记点检测获取物理坐标，根据数字标记点圆心的物理坐标和圆心距求出相机视野内所有圆的物理坐标；最后利用2D仿射变换求出相机外参数. 本系统标定过程框图如图4所示.2 标记点检测2.1 特征点图像坐标自动提取为了自动获得带有标记的特征点坐标，就需要对特征点图像分别进行图像预处理、轮廓提取和特征点匹配操作[3].图像预处理主要包括图像滤波和二值化. 一般情况下图像在拍摄和传输过程中，由于所使用的器件和传输通道的局限性，所获取的原始图像中往往加入了大量的噪声，会严重影响图像的视觉效果，甚至有可能妨碍操作人员的正常识别，因此消除图像的噪声就成为图像预处理的一项重要任务. 根据图像噪声的不同，选用去噪的方法也不同，结合本文图像的特点，拟采用高斯滤波方法. 高斯滤波是一种线性平滑滤波，适用于消除高斯噪声，广泛应用于图像处理的减噪过程.图像去噪处理后，需进行二值化处理. 二值化处理的关键是确定阈值，本文采用了基于最大类间方差OTSU[4]的方法，它是一种自适应的阈值确定方法，主要是利用图像的灰度特性，将图像分成背景和目标两部分，从而达到提取标志点的目的[5].对图像进行二值化处理后，就可以对处理后的图像进行搜索，针对本文图像，设定的搜索顺序是从左上角第一个圆开始，按照从左往右从上往下方向遍历整个图像区域，并利用OpenCV中的cvFindContours函数提取轮廓[6]，根据轮廓数据利用最小二乘拟合圆拟合，利用拟合的圆推导出圆中心坐标. 该检测算法是通过最小化误差的平方和找到一组数据的最佳函数匹配来定位圆心坐标的.采集图像过程中，总避免不了其他噪声的干扰，为了得到准确的标志圆图像坐标，就需要去掉目标中非标志圆的轮廓，使得标定板中只有带有数字的圆和无数字圆两种元素，圆形度是用来表示物体圆形程度的指标，它们的圆形度都近似于1. 而将圆形度小于0.95，面积小于或大于的目标轮廓去掉，最终仅剩下70个目标的质心坐标，即标志圆的图像坐标.2.2 数字特征点定位在已知标志圆图像坐标的情况下，要快速找出带有数字标记的圆，通常采用模板匹配的方式实现. 模板匹配是一项在一幅图像中寻找与另一幅模板图像最匹配（相似）部分的技术. 由于文中的标定用于丝印行业，丝印平台带有夹具，用于固定加工对象，使之占有正确的位置，定位夹具可以对发生旋转的情况进行校正，标定板放在丝印平台后，利用夹具保证其放正. 如果数字图案发生旋转，则利用夹具调整标定板，使其放正，重新匹配. 利用平方差的模板匹配算法. 平方差算法原理如公式（1）：其中，代表模板图像，代表实时图像，表示实时图像坐标，表示模板图像坐标. 根据平方差匹配公式可知，矩阵中值越小表示匹配效果越好，最好的匹配结果是值为0；反之值越大匹配效果越差. 相机如图1安装好，并将标定板放置在有夹具的平台上，通过夹具对标定板的调节将标定板矫正，且保证其水平. 再利用相机拍摄标定板所有存在数字区域，并对这些图像进行滤波与二值化处理，通过MFC鼠标消息事件画矩形提取有数字的圆的感兴趣区域，将这些图像保存在硬盘中，这些图像即为模板，如图5-b即为创建的模板. 具体匹配过程是对每一幅经过处理后的图像与事先准备好的模板图进行比对，当所获得的值在某个设定好的阈值时，认为比对成功，记下其所在位置，从而得到标记点的圆心物理坐标. 操作过程示意图如图5所示.根据图1可知，物理坐标系是已建立好的，当获得标记点的圆心物理坐标以后，就可以通过每个圆心距为计算出相机视野内的所有圆的物理坐标. 再根据仿射变换原理[8]所建立的从图像坐标系到工作台物理坐标系的变换公式，得到绝对坐标到测量图像坐标的整体变换公式.一般2D-2D仿射变换需要求解6个参数，需用3组相匹配的点对. 2D-2D仿射变换一般式如公式（2）：由于这些点中任意一个的坐标值存在误差，都会造成所求得的参数存在误差. 解决这个问题的方法之一是，采用更多的匹配控制点以得到6个参数的最小二乘估计. 为此定义一个误差函数，即残差求解函数，以便通过残差大小来衡量最终标定结果的精度. 残差函数定义如公式（3）：再通过误差函数分别对6个变量求偏导，并使之为0，就得到方程式，用矩阵表示如公式（4）：通过该变换公式，结合视野内已知的每个圆的圆心物理坐标，可以求出实际圆心物理坐标与其对应的通过仿射变换得到的圆心物理坐标之差，进而求出每个圆通过拟合而产生的残差. 图像残差是评估标定结果好坏的一个重要指标，图像残差均值越小表示建立的数学模型越准确，标定结果越好.3 实验和结论选用6个分辨率为640×480、型号为MVC1000MF的相机按图1所示安装固定好，水平放入标定板，且保证每个相机下都有带数字标记圆，通过OpenCV与MFC编写标定控制程序，在Windows7系统运行，分别计算出6个相机中35个圆点的方向和方向的残差值，如图6中所示.从图中可看出，6个相机的残差最大值均小于，根据残差衡量函数，标定有效，可以满足测量系统的精度要求. 本文提出的基于圆点阵列的多相机外部参数标定方法，操作简便，具有一定的行业推广价值. 为了简化标定步骤，下一步研究可以利用光学字符识别（optical character recognition，OCR）获取圆点内数字的位置. [1] 夏瑞雪，卢荣胜，刘宁，等. 基于圆点阵列靶标的特征点坐标自动提取方法[J]. 中国机械工程，2010, 21(16): 1906-1910.[2] ZHANG Zhengyou. A flexible new technique for camera calibration [J]. Pattern Analysis and Machine Intelligence, 2000, 22(11): 1330-1334.[3] 许勇，郭鹏宇，龙古灿，等. 摄像机全自动标定方法研究[J]. 光学学报，2013, 33(6): 139-149.[4] HUANG D Y，WANG C H. Optimal multi-level thresholding using atwo-stage Otsu optimization approach [J]. Pattern Recognition Letters, 2009, 30(3): 275-284.[5] 孙鹏，吕乃光，王博恩，等. 视觉测量中圆形标志点的全场自动识别和提取[M]. 北京信息科技大学学报（自然科学版），2011, 26(3): 91-95.[6] BRADSK G R, KAEHLER A. Learning OpenCV: computer vision with the OpenCV library [J]. [s.l.]: O’ Reilly Media, lnc, 2008.[7] 佟庆彬，丁振良，董玉冰，等. 基于图像的小尺寸零件圆参数亚像素定位算法[J]. 吉林大学学报（工学版），2009, 39(1): 154-159.[8] SISMAN Y. Coordinate transformation of cadastral maps using different adjustment methods [J]. Journal of Chinese Institute of Engineers, 2014, 37(7): 869-882.[责任编辑：韦韬]。