3D测量系统中的高精度摄像机标定算法
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
Tsai 采用摄像机的径向畸变模型[6]，利用“径向准直约束”(Radial alignment constraint)条件提出一种“两
步”(Two stage)标定方法，先用径向准直约束求解模型参数中的大部分，然后再用非线性搜索法求解畸变系
数、有效焦距及一个平移参数。这种方法计算量不大，精度适中。张正友于 1998 年提出了一种利用旋转矩 阵的正交性条件及非线性最优化进行摄像机标定的方法[2]。该方法要求摄像机在两个以上不同的方位拍摄
标定精度均有待提高。
本文在分析完整的摄像机镜头畸变模型的基础上，提出一种新的标定方法，该算法包括以下三个步骤：
第一步：在不考虑镜头畸变的情况下利用标定块上的中间若干个点，采用线性优化方法求出除畸变系数以
外的其他外部参数和主要的内部参数(定义为 m)，然后采用非线性优化的方法进一步优化；第二步：固定
m，利用线性优化方法求解畸变系数(定义为 d)；第三步：对所有内部参数和外部参数进行全局非线性优化。
第 35 卷第 4 期 2008 年 4 月
光电工程
Opto-Electronic Engineering
Vol.35, No.4 April, 2008
文章编号：1003-501X(2008)04-0058-06
ห้องสมุดไป่ตู้
3D 测量系统中的高精度摄像机标定算法
李中伟，王从军，史玉升
( 华中科技大学 材料成形与模具技术国家重点实验室，武汉 430074 )
(1)
v = c − c0 = r2,1x + r2,2 y + r2,3 z + t2
f
fv
r3,1x + r3,2 y + r3,3 z + t3
其中：(u, v)为空间点的图像坐标(单位：mm)，(r, c)为对应的图像坐标 (单位：pixel)， R = [ri, j ] 是一个 3×3
的从世界坐标系到摄像机坐标系的旋转正交矩阵， T = (t1, t2 , t3 ) 是一个 3×1 的平移向量， (r0 , c0 ) 为计算机 帧存图像中心的坐标，f 为摄像机的焦距， fu = f ⋅ su , fv = f ⋅ sv ( su , sv 分别为图像平面中 u 和 v 方向单位距 离上的像素数)。
+ 2 p2uv + 3p2v2
+ +
k1u(u 2 k1v(u 2
+ +
v2 ) v2 )
(3)
令 g1 = s1 + p1, g2 = s2 + p2 , g3 = 2 p1, g4 = 2 p2 ，则式(3)表示为
60
光电工程
第 35 卷第 4 期
⎪⎧δ ⎪⎩⎨δ
u v
(u, (u,
v) v)
u f
= uˆ + δˆu (uˆ, vˆ)
，v f
= vˆ + δˆv (uˆ, vˆ)
(8)
由式(1)、式(4)、式(8)可得到本文的摄像机畸变模型为
⎧ r1,1x + r1,2 y + r1,3 z + t1
⎪ ⎪
r3,1
x
+
r3,2
y
+
r3,3
z
+
t3
= uˆ + (g1 + g3 )uˆ 2
一个平面模板的图像，网格状的模板可以用普通的激光打印机打印，贴在一个平面上(如玻璃板等)，摄像
机和模板都可以自由地移动，且不需要知道运动参数。这种方法也属于传统的摄像机标定方法，只是用平
面模板代替了传统摄像机标定中的三维标定块，其特点是方法简单方便、成本低，标定稳定性和精度相对
于自标定要高，其标定精度为 0.335 pixels。上述两种标定方法在计算机视觉领域得到了较多的运用，但其
= =
(g1 g2u
+
2
g3 )u 2 + + g3uv +
g4uv + g1v2 (g2 + g4 )v2
+ +
k1u(u 2 k1v(u 2
+ +
v2) v2 )
(4)
2.3 本文的摄像机模型
根据式(3)，不考虑畸变的图像坐标点(u, v)与其相应的像素位置关系可用下式表示：
u + δu (u, v) = (r − r0 ) / su ，v + δv (u, v) = (c − c0 ) / sv
(5)
引入新的变量：
uˆ = (r − r0 ) / fu ，vˆ = (c − c0 ) / fv
(6)
则：
u = uˆ − δu (u, v) ，v = vˆ − δv (u, v)
(7)
f
f
f
f
由于标定过程中所拍摄的图像存在误差，理论的图像坐标点(u, v)不可能准确获得，因此采用 uˆ,vˆ 来表 示摄像机畸变模型[4]，即：
2 摄像机模型
2.1 不考虑镜头畸变的摄像机模型
不考虑镜头畸变即是将所有的光学畸变均忽略不考虑，采用小孔成像模型作为摄像机的数学模型，可
用式(1)表示[4]。
u = r − r0 = r1,1x + r1,2 y + r1,3 z + t1
f
fu
r3,1x + r3,2 y + r3,3 z + t3
( State Key Laboratory of Material Processing and Die & Mould Technology, Huazhong University of Science and Technology, Wuhan 430074, China )
Abstract: On the basis of analyzing complete camera distortion model, a new calibration algorithm is proposed. The new algorithm consists of three steps. In the first step, the calibration parameters are estimated using a close-form solution based on a distortion-free camera model. In the second step, estimating the set of distortion parameters with the other parameters fixed. In the third step, the parameters estimated in the first step are improved iteratively through a nonlinear optimization, and makes all the parameters globalization. Very good results are obtained with real data calibration. The results show the precision of the new proposed method is up to 0.0367 mm, which meets the requirements of high precision 3D measurement and other application. Key words: computer vision; camera calibration; nonlinear optimization
2008 年 4 月
李中伟 等：3D 测量系统中的高精度摄像机标定算法
59
标定过程是否需要控制场将摄像机标定分为传统标定方法和自标定方法[10]。传统的摄像机标定方法需要在
场景中放置一个标定物，在高危险地区的监测、星球探测机器人的自主导航等情况下难以实现，自标定技 术在这方面有独特的作用，但其精度水平则无法与传统的标定方法相比[5]。
部 与 外 部 参 数 m = (r0 , c0 , fu , fv ,T ,α , β ,γ ) ， ( α , β ,γ 是 旋 转 矩 阵 R 的 三 个 独 立 参 数 ) 和 畸 变 参 数 d =
[k1, g1, g2 , g3 , g4 ]T 。
从式(9)可知，本文的畸变模型只考虑了三种能引起较大误差的畸变，并未包含所有的畸变，因为工程
达到 0.0367 mm，可以满足高精度三维测量及其他应用的要求。
关键词：计算机视觉；摄像机标定；非线性优化
中图分类号：TB877
文献标志码：A
High Precision Camera Calibration Algorithm for 3D Measurement System
LI Zhong-wei，WANG Cong-jun，SHI Yu-sheng
此模型下需要标定的参数包括：内部参数 r0 , c0 , fu , fv 及外部参数 R 和 T。 2.2 考虑镜头畸变的摄像机模型
由于摄像机光学系统存在装配误差和加工误差，使得物体点在摄像机图像平面上实际所成的像与理想
成像之间存在光学畸变，物体点在摄像机成像面上实际所成的像与理想成像之间存在有光学畸变误差。镜
1引言
数字摄像机是计算机视觉系统获得图像信息的主要工具。近年来，利用数字摄像机进行二维、三维重 建和尺寸检测获得了越来越多的运用和研究。检查和较准摄像机的内部参数和外部参数的过程称为摄像机 标定(Camera calibration)。摄像机标定是从二维图像获取高精度三维信息的前提，其标定精度和可靠程度将 直接影响到测量结果的精度[1]。
偏差，后两类则既产生径向偏差，又产生切向偏差。同时考虑径向畸变、偏心畸变和薄棱镜畸变时，u 轴 和 v 轴的总畸变可用下式表示[11]：
⎪⎧δ ⎪⎩⎨δ
u v
(u, (u,
v) v)
= =
s1 s2
(u 2 (u 2
+ +
v2 v2
) )
+ +
3 p1u 2 2 p1uv
+ +
p1v 2 p2u 2
头畸变影响了被测点在图像坐标系下的坐标值，可用如下公式修正：
u′ = u + δu (u, v) ，v′ = v + δv (u, v)
(2)
其中： δu (u,v), δv (u,v) 为镜头畸变引起的误差，为了确定该误差，我们首先分析各种镜头畸变的来源及其
误差畸变模型。主要的畸变误差分为三类：径向畸变，偏心畸变和薄棱镜畸变。第一类只产生径向位置的
+ g4uˆvˆ + g1vˆ2
+ k1uˆ(uˆ 2
+ vˆ2 )
⎨ ⎪
r2,1 x
+
r2,2
y
+
r2,3
z
+
t2
⎪⎩ r3,1x + r3,2 y + r3,3 z + t3
= vˆ + g2uˆ 2
+ g3uˆvˆ + (g2
+ g4 )vˆ2
+ k1vˆ(uˆ 2
+ vˆ2 )
(9)
所以若有足够的三维坐标点 (xi , yi , zi ) 与其相应的像素位置坐标 (ri′, ci′) ，则可确定出不考虑畸变时的内
收稿日期：2007-07-18；收到修改稿日期：2007-12-05 基金项目：湖北省自然科学基金创新群体项目——快速制造关键技术(2004ABC001) 作者简介：李中伟(1981-)，男(汉族)，湖北枣阳人，博士研究生，主要从事机器视觉、数字图像处理等方面的研究。
E-mail: lizhongwei226@gmail.com
运用中并不需要也不可能考虑所有的畸变。
3 标定算法
3.1 线性优化方法求解 m(将 d 设为零)
本步处理过程先在不考虑畸变的情况下采用线性优化的方法求解 m，作为后续非线性优化的初值。
由式(4)知道每个控制点和它相应的像素位置可以得到两个非线线性方程：
⎪⎧(ri′ − r0 )xi r3,1 + (ri′ − r0 ) yir3,2 + (ri′ − r0 )zir3,3 + (ri′ − r0 )t3 − fu xi r1,1 − fu yi r1,2 − fu zi r1,3 − fut1 = 0 ⎪⎩⎨(ci′ − c0 )xir3,1 + (ci′ − c0 ) yi r3,2 + (ci′ − c0 )zi r3,3 + (ci′ − c0 )t3 − fv xi r2,1 − fv yi r2,2 − fv zi r2,3 − fvt2 = 0
摘要：本文在分析完整的摄像机镜头畸变模型的基础上，提出了一种新的标定算法。该算法包括三个步骤，首先
在不考虑镜头畸变的情况下利用标定块上的中间若干个点，采用线性优化方法求出除畸变系数以外的其他外部参
数和主要的内部参数；然后固定上述已求得的参数，利用线性优化方法求解畸变系数；最后对所有内部参数和外
部参数进行全局非线性优化。最后对本文的标定算法进行了标定实验，实验结果表明，本文算法的标定精度可以
随着摄影测量和计算机视觉理论的发展，许多学者对摄像机标定技术进行了深入研究[2-7]。从摄像机在 视觉检测中获得应用以来，有关学者根据实际应用具体需要提出了一些不同的摄像机模型和标定方法。现 有的摄像机标定方法根据模型中是否考虑光学系统的畸变，可分为畸变模型标定法和非畸变模型标定法[8]； 根据所采用的求解方法不同可分为非线性搜索法、全线性化方法、线性与非线性相结合的方法等[9]。根据
步”(Two stage)标定方法，先用径向准直约束求解模型参数中的大部分，然后再用非线性搜索法求解畸变系
数、有效焦距及一个平移参数。这种方法计算量不大，精度适中。张正友于 1998 年提出了一种利用旋转矩 阵的正交性条件及非线性最优化进行摄像机标定的方法[2]。该方法要求摄像机在两个以上不同的方位拍摄
标定精度均有待提高。
本文在分析完整的摄像机镜头畸变模型的基础上，提出一种新的标定方法，该算法包括以下三个步骤：
第一步：在不考虑镜头畸变的情况下利用标定块上的中间若干个点，采用线性优化方法求出除畸变系数以
外的其他外部参数和主要的内部参数(定义为 m)，然后采用非线性优化的方法进一步优化；第二步：固定
m，利用线性优化方法求解畸变系数(定义为 d)；第三步：对所有内部参数和外部参数进行全局非线性优化。
第 35 卷第 4 期 2008 年 4 月
光电工程
Opto-Electronic Engineering
Vol.35, No.4 April, 2008
文章编号：1003-501X(2008)04-0058-06
ห้องสมุดไป่ตู้
3D 测量系统中的高精度摄像机标定算法
李中伟，王从军，史玉升
( 华中科技大学 材料成形与模具技术国家重点实验室，武汉 430074 )
(1)
v = c − c0 = r2,1x + r2,2 y + r2,3 z + t2
f
fv
r3,1x + r3,2 y + r3,3 z + t3
其中：(u, v)为空间点的图像坐标(单位：mm)，(r, c)为对应的图像坐标 (单位：pixel)， R = [ri, j ] 是一个 3×3
的从世界坐标系到摄像机坐标系的旋转正交矩阵， T = (t1, t2 , t3 ) 是一个 3×1 的平移向量， (r0 , c0 ) 为计算机 帧存图像中心的坐标，f 为摄像机的焦距， fu = f ⋅ su , fv = f ⋅ sv ( su , sv 分别为图像平面中 u 和 v 方向单位距 离上的像素数)。
+ 2 p2uv + 3p2v2
+ +
k1u(u 2 k1v(u 2
+ +
v2 ) v2 )
(3)
令 g1 = s1 + p1, g2 = s2 + p2 , g3 = 2 p1, g4 = 2 p2 ，则式(3)表示为
60
光电工程
第 35 卷第 4 期
⎪⎧δ ⎪⎩⎨δ
u v
(u, (u,
v) v)
u f
= uˆ + δˆu (uˆ, vˆ)
，v f
= vˆ + δˆv (uˆ, vˆ)
(8)
由式(1)、式(4)、式(8)可得到本文的摄像机畸变模型为
⎧ r1,1x + r1,2 y + r1,3 z + t1
⎪ ⎪
r3,1
x
+
r3,2
y
+
r3,3
z
+
t3
= uˆ + (g1 + g3 )uˆ 2
一个平面模板的图像，网格状的模板可以用普通的激光打印机打印，贴在一个平面上(如玻璃板等)，摄像
机和模板都可以自由地移动，且不需要知道运动参数。这种方法也属于传统的摄像机标定方法，只是用平
面模板代替了传统摄像机标定中的三维标定块，其特点是方法简单方便、成本低，标定稳定性和精度相对
于自标定要高，其标定精度为 0.335 pixels。上述两种标定方法在计算机视觉领域得到了较多的运用，但其
= =
(g1 g2u
+
2
g3 )u 2 + + g3uv +
g4uv + g1v2 (g2 + g4 )v2
+ +
k1u(u 2 k1v(u 2
+ +
v2) v2 )
(4)
2.3 本文的摄像机模型
根据式(3)，不考虑畸变的图像坐标点(u, v)与其相应的像素位置关系可用下式表示：
u + δu (u, v) = (r − r0 ) / su ，v + δv (u, v) = (c − c0 ) / sv
(5)
引入新的变量：
uˆ = (r − r0 ) / fu ，vˆ = (c − c0 ) / fv
(6)
则：
u = uˆ − δu (u, v) ，v = vˆ − δv (u, v)
(7)
f
f
f
f
由于标定过程中所拍摄的图像存在误差，理论的图像坐标点(u, v)不可能准确获得，因此采用 uˆ,vˆ 来表 示摄像机畸变模型[4]，即：
2 摄像机模型
2.1 不考虑镜头畸变的摄像机模型
不考虑镜头畸变即是将所有的光学畸变均忽略不考虑，采用小孔成像模型作为摄像机的数学模型，可
用式(1)表示[4]。
u = r − r0 = r1,1x + r1,2 y + r1,3 z + t1
f
fu
r3,1x + r3,2 y + r3,3 z + t3
( State Key Laboratory of Material Processing and Die & Mould Technology, Huazhong University of Science and Technology, Wuhan 430074, China )
Abstract: On the basis of analyzing complete camera distortion model, a new calibration algorithm is proposed. The new algorithm consists of three steps. In the first step, the calibration parameters are estimated using a close-form solution based on a distortion-free camera model. In the second step, estimating the set of distortion parameters with the other parameters fixed. In the third step, the parameters estimated in the first step are improved iteratively through a nonlinear optimization, and makes all the parameters globalization. Very good results are obtained with real data calibration. The results show the precision of the new proposed method is up to 0.0367 mm, which meets the requirements of high precision 3D measurement and other application. Key words: computer vision; camera calibration; nonlinear optimization
2008 年 4 月
李中伟 等：3D 测量系统中的高精度摄像机标定算法
59
标定过程是否需要控制场将摄像机标定分为传统标定方法和自标定方法[10]。传统的摄像机标定方法需要在
场景中放置一个标定物，在高危险地区的监测、星球探测机器人的自主导航等情况下难以实现，自标定技 术在这方面有独特的作用，但其精度水平则无法与传统的标定方法相比[5]。
部 与 外 部 参 数 m = (r0 , c0 , fu , fv ,T ,α , β ,γ ) ， ( α , β ,γ 是 旋 转 矩 阵 R 的 三 个 独 立 参 数 ) 和 畸 变 参 数 d =
[k1, g1, g2 , g3 , g4 ]T 。
从式(9)可知，本文的畸变模型只考虑了三种能引起较大误差的畸变，并未包含所有的畸变，因为工程
达到 0.0367 mm，可以满足高精度三维测量及其他应用的要求。
关键词：计算机视觉；摄像机标定；非线性优化
中图分类号：TB877
文献标志码：A
High Precision Camera Calibration Algorithm for 3D Measurement System
LI Zhong-wei，WANG Cong-jun，SHI Yu-sheng
此模型下需要标定的参数包括：内部参数 r0 , c0 , fu , fv 及外部参数 R 和 T。 2.2 考虑镜头畸变的摄像机模型
由于摄像机光学系统存在装配误差和加工误差，使得物体点在摄像机图像平面上实际所成的像与理想
成像之间存在光学畸变，物体点在摄像机成像面上实际所成的像与理想成像之间存在有光学畸变误差。镜
1引言
数字摄像机是计算机视觉系统获得图像信息的主要工具。近年来，利用数字摄像机进行二维、三维重 建和尺寸检测获得了越来越多的运用和研究。检查和较准摄像机的内部参数和外部参数的过程称为摄像机 标定(Camera calibration)。摄像机标定是从二维图像获取高精度三维信息的前提，其标定精度和可靠程度将 直接影响到测量结果的精度[1]。
偏差，后两类则既产生径向偏差，又产生切向偏差。同时考虑径向畸变、偏心畸变和薄棱镜畸变时，u 轴 和 v 轴的总畸变可用下式表示[11]：
⎪⎧δ ⎪⎩⎨δ
u v
(u, (u,
v) v)
= =
s1 s2
(u 2 (u 2
+ +
v2 v2
) )
+ +
3 p1u 2 2 p1uv
+ +
p1v 2 p2u 2
头畸变影响了被测点在图像坐标系下的坐标值，可用如下公式修正：
u′ = u + δu (u, v) ，v′ = v + δv (u, v)
(2)
其中： δu (u,v), δv (u,v) 为镜头畸变引起的误差，为了确定该误差，我们首先分析各种镜头畸变的来源及其
误差畸变模型。主要的畸变误差分为三类：径向畸变，偏心畸变和薄棱镜畸变。第一类只产生径向位置的
+ g4uˆvˆ + g1vˆ2
+ k1uˆ(uˆ 2
+ vˆ2 )
⎨ ⎪
r2,1 x
+
r2,2
y
+
r2,3
z
+
t2
⎪⎩ r3,1x + r3,2 y + r3,3 z + t3
= vˆ + g2uˆ 2
+ g3uˆvˆ + (g2
+ g4 )vˆ2
+ k1vˆ(uˆ 2
+ vˆ2 )
(9)
所以若有足够的三维坐标点 (xi , yi , zi ) 与其相应的像素位置坐标 (ri′, ci′) ，则可确定出不考虑畸变时的内
收稿日期：2007-07-18；收到修改稿日期：2007-12-05 基金项目：湖北省自然科学基金创新群体项目——快速制造关键技术(2004ABC001) 作者简介：李中伟(1981-)，男(汉族)，湖北枣阳人，博士研究生，主要从事机器视觉、数字图像处理等方面的研究。
E-mail: lizhongwei226@gmail.com
运用中并不需要也不可能考虑所有的畸变。
3 标定算法
3.1 线性优化方法求解 m(将 d 设为零)
本步处理过程先在不考虑畸变的情况下采用线性优化的方法求解 m，作为后续非线性优化的初值。
由式(4)知道每个控制点和它相应的像素位置可以得到两个非线线性方程：
⎪⎧(ri′ − r0 )xi r3,1 + (ri′ − r0 ) yir3,2 + (ri′ − r0 )zir3,3 + (ri′ − r0 )t3 − fu xi r1,1 − fu yi r1,2 − fu zi r1,3 − fut1 = 0 ⎪⎩⎨(ci′ − c0 )xir3,1 + (ci′ − c0 ) yi r3,2 + (ci′ − c0 )zi r3,3 + (ci′ − c0 )t3 − fv xi r2,1 − fv yi r2,2 − fv zi r2,3 − fvt2 = 0
摘要：本文在分析完整的摄像机镜头畸变模型的基础上，提出了一种新的标定算法。该算法包括三个步骤，首先
在不考虑镜头畸变的情况下利用标定块上的中间若干个点，采用线性优化方法求出除畸变系数以外的其他外部参
数和主要的内部参数；然后固定上述已求得的参数，利用线性优化方法求解畸变系数；最后对所有内部参数和外
部参数进行全局非线性优化。最后对本文的标定算法进行了标定实验，实验结果表明，本文算法的标定精度可以
随着摄影测量和计算机视觉理论的发展，许多学者对摄像机标定技术进行了深入研究[2-7]。从摄像机在 视觉检测中获得应用以来，有关学者根据实际应用具体需要提出了一些不同的摄像机模型和标定方法。现 有的摄像机标定方法根据模型中是否考虑光学系统的畸变，可分为畸变模型标定法和非畸变模型标定法[8]； 根据所采用的求解方法不同可分为非线性搜索法、全线性化方法、线性与非线性相结合的方法等[9]。根据