基于HALCON的非线性摄像机标定算法研究与应用

Machinery Design ＆Manufacture
机械设计与制造
第2期
2012年2月
计
算机应用
22
2222222
22
2222222基于HALCON 的非线性摄像机标定
算法研究与应用*
刘源泂孔建益王兴东刘钊
（武汉科技大学冶金装备及其控制教育部重点实验室，武汉430081）
Reached and application of nonlinear camera calibration
method based on HALCON
LIU Yuan-jiong ，KONG Jian-yi ，WANG Xing-dong ，LIU Zhao
（MoE Key Laboratory of Metallurgical Equipment and Their Control ，Wuhan University of
Science and Technology ，Wuhan 430081，China ）
文章编号：1001-3997（2012）02-0061-03【摘要】针对工业应用，采用LENZ 径向畸变模型建立面阵和线阵摄像机的非线性成像几何模型，并分析模型的内外参数及针孔模型的局限性，基于两步法思想改进标定方法。

利用HALCON 的矩阵网格状圆靶平面标定板及函数库平台，采用亚像素精度的边缘提取和椭圆拟合算法精确获取标定点，建立与空间点的对应关系，并对所求参数进行非线性优化，通过实验及精度分析验证了求解参数的
准确度和稳定性。

该标定算法灵活准确，
具有良好的可移植性。

关键词：摄像机标定；CCD 成像模型；畸变模型；HALCON
【Abstract 】It aimed at industrial applications to build nonlinear image geometrical models for array CCD camera and linear CCD camera based on the LENZ distortion model.And the interior parameters and exterior parameters and boundedness of pinhole models as well were analyzed.Then calibration method is improved based on two-step.By applying HALCON calibration board with circular targets plane of matrix
gridding type and functions library ，
the calibration marks were obtained accurately through sub-pixel pre －cise edge contour detection algorithm and fitting ellipse method.In addition nonlinear optimization for the camera parameters were done during this process.And the accuracy of these parameters and stability of the algorithm were validated through experiments and accuracy analysis.Thus the calibration method is verified to be flexible with good portability.
Key words ：Camera calibration ；Imaging model of CCD ；Distortion model ；HALCON
222222222222222222222222222222222222222222
2222222222222222222222
222222222222222222222222222222222222222222
2222222222222222222222
中图分类号：TH16，TP242，TB811文献标识码：A
＊来稿日期：2011-04-08＊基金项目：国家自然科学基金面上项目（51174151），教育部博士点专项科研基金（20104219110001），
湖北省自然科学基金（2010CDB03403），湖北省教育厅重大项目（2010Z19003）
1引言
摄像机标定在机器视觉和工业测量等领域中是一个重要的基本步骤。

在基于立体视觉的钢板表面缺陷深度信息提取中，利用摄像机的几何成像模型来描述图像坐标系与被测物体三维空间坐标系中对应点之间的映射关系。

这一模型是由摄像机内部几何与光学特性参数（内参）和表示摄像机在三维空间坐标系中位置和方向的参数（外参）组成，确定内外参数的过程即摄像机标定[1]。

目前摄像机标定方法主要可分为传统标定方法、自标定方法和基于主动视觉的标定方法三类[2-5]。

传统标定方法已知参照的标定物，通过空间点和图像点之间的对应关系，来求解内外参数。

根据摄像机模型不同分为直接线性标定、非线性标定和两步法。

两步法，采用由粗到精策略，标定简单且精度较高，其典型代表有Tsai 基于径向排列约束的两步法[6]、张正友平面模板两步法[7]等。

基于两步法思想，利用HALCON 网格状圆靶平面标定板，采用亚像素精度的边缘提取和椭圆拟合算法实现圆心标定点的定位，实现内外参数非线性优化求解，并对其准确度进行了分析与验证。

2摄像机非线性模型
2.1成像几何模型及坐标系变换
对普通工业镜头和CCD 摄像机的组合以针孔摄像机模型来表示，其面阵和线阵摄像机成像几何模型，如图1和图2所示。

定义世界坐标系（WCS ）表示空间中一个基准坐标系。

摄像机坐标系（CCS ）原点在镜头投影中心O c ，z c 轴为摄像机主光轴。

假设虚拟成像平面在摄像机投影中心前端f 处，虚拟成像平面上有成像坐标系（ICS ）和以像素为单位的图像像素坐标系（IPCS ）。

ICS 以主点O i 为原点，IPCS 以图像第一行第一列的像素中心为原点O p ，主点O i 为在IPCS 中的坐标为（c x ，c y ）。

WCS 中点P w 通过投影中心O c 投影到虚拟成像平面上的点P ，而实际镜头的畸变将造成P 点位置偏移到P d 。

线阵摄像机必须与被测物有相对运动才能成像，并且要已知运动参数，如图2所示。

运动向量V 在假设检测平面静止时就表示摄像机的运动参数，这样分量v y 就与CCS 的y c 轴一致。

然后将线阵CCD 看作面阵CCD 某一行在线阵方向上（IPCS 的c 轴）满足透视投影，在垂直方向上（CCS 的y c 轴）满足平行投影。

61
Oc CCS （x c ，y c ，z c ）f O p IPCS （r ，c ）
c
ICS （u ，v ）u
S x
c x
O i
P
P d
v
r
S y c y P c
P w
O w x w
y w
z w
WCS （x w ，y w ，z w ）
虚拟成像平面
检测平面图1面阵CCD 摄像机非线性模型
Fig.1Face CCD camera nonlinear model
O c
CCS （x c ，y c ，z c
）IPCS （r ，c ）
c ICS （u ，v ）
P d
S x c x
u
v
r
c y S y O p
f O i
P
V （-v x ，-v y ，-v z
）P c P w
O w x w y w
z w
WCS （x w ，y w ，z w ）
虚拟成像平面
运动向量
检测平面
图2线阵CCD 摄像机非线性模型
Fig.2Linear CCD camera nonlinear model
以面阵模型为例，对应点从世界坐标系到图像像素坐标系的转换关系为：
（1）从WCS 点P w 到CCS 点P c 的刚性变换：（x c ，y c ，z c ）T
=R
（x w ，y w ，z w ）T
+T （1）
式中旋转矩阵：
R=R （α，β，γ）=100
0cos α-sin α0sin αcos 00
α·
cos β0sin β010-sin β0cos 00β·cos γ-sin γ0sin γcos γ00000
1
式中：α、β、γ—绕CCS 的x c 轴、y c 轴、z c 轴的旋转角度；平移矩阵T=（t x ，t y ，t z ）T。

（2）面阵模型从CCS 点P c 到ICS 点P （u ，v ）变换：
（u ，v ）T =f c
（x c ，y c
）T
（2）考虑镜头畸变会使P （u ，v ）偏移到点P d （u d ，
v d ）：（u d ，v d ）T
=d （u ，v ）
T
（3）
从ICS 点P d （u d ，v d ）到IPCS 点P d （c ，r ）变换：（c ，r ）T =u d x +c x ，v d y
+c y
00
T
（4）
式（3）表示畸变模型转换函数，式（4）中s x 、s y 分别表示CCD 图像传感器行和列方向上相邻两像素之间的距离。

2.2畸变模型
普通工业镜头的径向畸变是影响机器视觉精度的主要因素，其它镜头畸变可充分地近似为径向畸变[8-9]。

采用LENZ 畸变模型[8-9]，函数表达式见式（5）（6），参数表示了径向畸变的量级，当κ为负值时表示桶型畸变，κ为正值时为枕型畸变。

与其它的畸变模型相比，
LENZ 模型通用性强、精度高[10]。

（u d ，v d
）T =21+1-4κ
（u 2+v 2
）姨（u ，v ）
T
（5）（u ，v ）T =11+κ
（u d +v d ）（u d ，v d ）T
（6）
2.3摄像机模型内外参数优化求解
因此面阵CCD 模型包括6个外参（α，β，γ，t x ，t y ，t z ）和6个内参（f ，κ，S x ，S y ，c x ，c y ），合起来表示为向量c ，标定点在三维空间的坐标为M i ，通过摄像机模型计算得到的在图像上的投影坐标π（M i ，c ），从二维图像上提取出来的标定点坐标为m i ，以π（M i ，c ）与m i 之间距离最小化来构建目标函数进行非线性优化，即最小二乘目标函数为：d （c ）=k
i =1Σm i -π
（M i ，c ）2
→min
式中：k=mm —标定板上标定点数量。

2.4模型局限性及改进措施
如图3所示，针孔模型的一些局限性会导致有些参数在优化过程中得不到唯一解，主要包括：（1
）当b 1/b 2=f 1/f 2=1/2时，像素尺寸S x ，S y 变大两倍，图像不变；（2）当物面与像面平行，图像b 2不变时，会有t z 1/f 2=t z 2/f 3的情况；（3）即使物面与像面不平行，f 与外参中一组参数仍然不能得到唯一解。

a 1a 1
b 1
b 2b 2
S x ，S y
S x ，S y
f 1
f 2
f 3
t z 1
t z 2
物面
像面
图3针孔模型几何简并性示意图Fig.3Pinhole model and sex geometric Jane diagram 在标定过程中：（1）设置s y 不变；（2）使用多幅图像进行标定；（3）标定板位置要不同，且不平行；（4）标定板覆盖检测视场范围的
四个角；（5）内参初值由CCD 相机和镜头说明书中得到，而外参的初值，通过几何学及标定靶标的投影尺寸来确定[9，11]。

假设使用l 幅图像进行标定，选其中一幅作为参考位置，则最优目标函数为：d （c ）=l j =1Σk
i =1
Σm i ，j -π（M i
，c ）2→min （7）式中：m i ，j —第j 幅图像中的第i 个标定点的坐标，这样可以求出所有摄像机参数的唯一解。

3基于HALCON 标定板的标定算法设计
标定板一般分为棋盘方格[7]和圆形靶标[6]两类。

相对于棋盘方格的角点提取，圆心提取算法抗噪能力强，算法简单快速。

采用HALCON 提供的高精度标定板，具体尺寸，如图4所示。

标定板在一个黑色方框内包含7行7列共49个相同的圆靶，以每个圆心作为标定点，定义世界坐标系原点在正中央圆心处，轴垂直标
第2期
刘源泂等：基于HALCON 的非线性摄像机标定算法研究与应用
62
定板向上，坐标系方向可由位于黑框左上角的三角块唯一确定。

100
12.5
12.5
准6.25
100
z w
x w
y w
图4HALCON 标定板
Fig.4HALCON calibration board
重复处理系列图像
读入一幅图像
找到标定板的区域
提取各个标定点
确定外参初始值
输入内参初始值
输出结果
非线性优化求解
图5标定算法流程图
Fig.5Calibration algorithm flow chart
其标定算法及步骤如下：
（1）进行图像平滑；（2）提取标定区域；（3）利用Ganny 算子对圆形靶标进行边缘提取，得到亚像素精度的边缘[12]；
（
4）采用鲁棒的代数距离最小平方椭圆拟合算法[9]将所有提取出的圆形靶标轮廓拟合为椭圆；（5）基于椭圆最小外接四边形得到中心点坐标[13]，确定标定点与图像投影之间的对应关系；（6）确定摄像机外参初始值，并由说明书得到内参初值；（7）重复处理系列标定图像，提取标定点，根据式（7
）求解。

4实验结果及参数准确度分析
采用分辨率为1600×1200，像素尺寸（7.4×7.4）μm 的面阵摄像机，焦距为28mm 的工业镜头。

以某热轧钢板表面作为检测平面进行摄像机标定，获取系列图像。

每幅图像上标定板内标定点提取结果与世界坐标系方向，如图6、图7所示。

图6参考位姿图像及标定点提取
Fig.6Reference image and standard pose fixed-point extraction
图7其余标定图像
Fig.7The rest calibration image
标定结果，如表1所示。

其平均误差为0.210028像素，满足测量要求。

取标定图像中的N i 幅图像（i =2，…，12）进行标定，每N i 幅图像任取10种组合，对每次计算得到的参数计算标准偏差：
s =1n -1n
i =1
Σ（l i -L 軈）2
姨
（8）式中：l i —第i 组图像标定的参数值；L
軈—所有组合得到的参数值的平均值。

表1摄像机标定结果
Tab.1Camera calibration results
摄像机内参结果外参结果f /mm 27.3774t x （mm ）-24.2644κ（1/m 2）-133.671t y （mm ）24.0385s x （μm ）7.39272t z （m ）827.665s y （μm ）7.4α（°）355.915c x （pixel ）817.368β（°）12.6569c y （pixel ）537.182γ（°）0.485149图像数量
13
平均误差
0.193045
畸变系数、主距、主点坐标及行方向上相邻像素距离各自的标准偏差随着图像数量增加而明显减小。

因此（1）摄像机模型参数之间存在比例相关性，可通过多次无关测量提高标定参数的准
确度；（2）标定板应尽可能覆盖所有外参运动的范围。

5小结
与面阵CCD 相比线阵CCD 的标定还需要合理调整运动向量V 。

研究了基于LENS 畸变模型的摄像机非线性标定方法，采用HALCON 的平面网格状圆靶标定板，开发的标定程序在实际应用中效果良好，标定结果精确，操作灵活快速，可有效应用于工业机器视觉系统中。

参考文献
［1］Carsten Steger ，Markus Ulrich ，Christian Wiedemann.Machine Vision
Algorithms and Applications ［M ］
.Germany ：Wiley -VCH ，Weinheim ，2007（10）.
［2］张广军.机器视觉［M ］.北京:科学出版社，2005.［3］孟晓桥，胡占义.摄像机自标定方法的研究与进展［J ］.自动化学报，
2003，29（1）:110-124.［4］胡占义，吴福朝.基于主动视觉摄像机标定方法［J ］.计算机学报，2002，25
（11）:1149-1156.
［5］Ma S D.A self -calibration technique for active vision system ［J ］.IEEE
Transactions on Robort Automation ，
1996，12（1）:114-120.［6］Tsai R Y.A versatile camera calibration technique for high-accuracy 3D
machine vision metrology using off-the-shelf TV cameras and lens ［J ］.IEEE J.Robotics Automat ，1987，3（4）：323-344
［7］Zhang ZH Y.A flexible new technique for camera calibration ［J ］.IEEE
Transactions on Patten Analysis and Machine Intelligence ，2000，22（11）:1330-1334.［8］R.Lenz ，D.Fritsch.Accuracy of photometry with CCD-sensors ［J ］.ISPRS
Journal of Photogrammetry and Remote Sensing ，
1990（45）：90-110.［9］nser.Model-based localization based on monocular video images ［D ］.
Technical University of Munich ，1997.［10］Lenz.R K ，Tsai.R Y.Techniques for calibration of the scale factor and
image center for high accuracy 3D machine vision metrology ［J ］
.IEEE International Conference on In Robotics and Automation ，Proceedings.1987（4）：68-75.［11］nser ，C.Zierl ，R.Beutlhauser.Multi-image calibration of a CCD camera
［M ］.Computer Science to date ：Pattern Recognition.Berlin ：Springer -Verlag ，1995：481-491.
［12］J.Canny.A computational approach to edge detection ［J ］.IEEE Transactions
on Pattern Analysis and Machine Intelligence ，1986，8（6）：679-698.［13］C.Steger.On the Calculation of Arbitrary Moments of Polygons ［Z ］.Tech
nical Report FGBV 9605of Technical University of Munich ，1996（10）.
机械设计与制造No.2Feb.2012
63。