第五章 摄像机标定
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
tz
r3 p34 p3 u0 ( r u r )r3 p p p3
T x 1 T 0 3 2 34 T 1 2 T v0 ( y r2T v0 r3T )r3 p34 p2 p3 2 x p34 p1 p3
r1 r1
x
p34 p34
( p1 u0 p3 ) ( p2 v0 p3 )
o'
由径向约束
oc
y
x X d r1 xw r2 yw r3 zw Tx y Yd r4 xw r5 yw r6 zw Ty
移项得：
xwYd r1 ywYd r2 zwYd r3 YdTx xw X d r4 yw X d r5 zw X d r6 X dTy
2）基于交比不变的摄像机畸变系数标定 • 特点：将畸变参数单独进行标定
• 优点：算法简单，与其它内外部参数分离 • 缺点：误差受样本点的影响
3、摄像机传统标定方法
3.1、DLT方法 3.2、RAC方法 3.3、张正友的平面标定方法(ICCV, 1999)
3.1、直接线性变换（DLT变换）
Abdal-Aziz和Karara于70年代初提出了直接线性变 换像机定标的方法，他们从摄影测量学的角度深入 的研究了像机图像和环境物体之间的关系，建立了 像机成像几何的线性模型，这种线性模型参数的估 计完全可以由线性方程的求解来实现。
DLT变换
p11 X w p12Yw p13Z w p14 p31uX w p32uYw p33uZ w p34u 0 p21 X w p22Yw p23Z w p24 p31vX w p32vYw p33vZw p34v 0
当已知 N 个空间点和对应的图像上的点时，可以得到一个 含有2* N 个方程的方程组：
消去 s ，可以得到方程组:
p11 X w p12Yw p13Z w p14 p31uX w p32uYw p33uZ w p34u 0 p21 X w p22Yw p23Z w p24 p31vX w p32vYw p33vZw p34v 0
' p34 p31t1 p32t 2 p33t 3 p34
R t
' 显然在一般的情况下 p34 p34
DLT变换
另一个约束
2 2 2 p31 p32 p33 1 具有旋转和平移的不变性
R1 r11 , r21 , r31
P3 ( p31, p 32 , p33 )
Ty 得： r3 Tx r5 r1 r2 r4 r1 xwYd ywYd zwYd Yd xw X d yw X d zw X d X d Ty Ty Ty Ty Ty Ty Ty
写成矢量形式得：
同除以
xwYd
ywYd
z wYd Yd
xw X d
yw X d
' ud sx d x1 X d u0 1 vd d y Yd v0
2.求解有效焦距 f 、z方向上的平移T3 和畸变参数 k1
2、摄相机标定方法分类
• 传统摄像机标定方法
• 基于交比不变的摄像机畸变系数标定
1）传统的摄像机标定方法
特点
利用已知的景物结构信息。常用到标定块。
1）传统的摄像机标定方法
• 优点
可以使用于任意的摄像机模型，标定精度高
• 不足
标定过程复杂，需要高精度的已知结构信息。 在实际应用中很多情况下无法使用标定块。
p( X d , Yd )
共线，与
op
平行或斜率相等.
像机模型
xw
O
zw
yw
世界坐标系和摄像机坐标系的关系
z
v u
x
x r1 xw r2 y w r3 z w Tx y r4 xw r5 y w r6 z w Ty z r x r y r z T 7 w 8 w 9 w z
Affine Transformation :
V
Yd
yd
xd yd cot u u0 dx dx yd v v0 dy sin
f u cot f v / sin 0
v0
C
u0
fu 1 1 , fv dx dy
O1
xd
Xd
U
齐次坐标形式:
u f u v 0 1 0 u 0 xd v0 yd 1 1
x t x u0t z y t y v0t z
tz
p34 p3 r3
1 p34 p3
是正交单位矩阵的第 三行，行列式为1
摄像机内外参数求解
p p34 p p
T 1 T 2 T 3
p14 x 0 p24 0 y 1 0 0
L
AL ||
为
|| AL ||
p11 X w p12Yw p13Z w p14 p31uX w p32uYw p33uZ w p34u 0 p21 X w p22Yw p23Z w p24 p31vX w p32vYw p33vZw p34v 0
y
t z m34 tx ty
y p p2 p3
2 34
x
p34 p34
( p14 u0 ) ( p24 v0 )
y
DLT变换
p34 1 是否合理？
约束 p34 1 不具有旋转和平移的不变性,解将随着世 界坐标系的选取不同而变化. 证明： 世界坐标系作刚性坐标变换 P ' P 0 1 则
•二图象间摄像机运动参数的确定：单个像机运动
坐标系
1、世界坐标系：
X w , Yw , Z w
Xw
Zw Yw
2、摄像机坐标系： X c , Yc , Z c 3、图像坐标系:
u, v x, y
Xc
Ow
世界坐标系
x u v
O1
图像坐标系
Zc
y
O
Yc
摄像机坐标系
图像数字化
O1在 u, v 中的坐标为 u 0 ,v0 象素在轴上的物理尺寸为 dx, dy
L向量的比例有意义
给出约束： p34
1
L' (C T C ) 1 C T B
L' 为 L 的前11个元素组成的向量， 为 A 前11列组成的矩 C 阵， 为 A 第12列组成的向量。 B
摄像机内外参数求解
p11 p34 p21 p31
p p34 p p
其中 u,v,1 为图像坐标系下的点的齐次坐标，X w , Yw , Z w 为 P 3 4 s 世界坐标系下的空间点的欧氏坐标， 为 的透视投影 矩 阵， 为未知尺度因子。
DLT变换
P34
p11 p12 p13 p14 pij p21 p22 p23 p24 p31 p32 p33 p34 su p11 X w p12Yw p13 Z w p14 sv p21 X w p22Yw p23 Z w p24 s p X p Y p Z p 31 w 32 w 33 w 34
2 d 2 d
(ud, vd)为一个点的数字化实际坐标，（u, v） 为理想的数字化坐标，（u0, v0）为畸变中心
径向一致约束
理想透视投影成像坐标 p( X u , Yu ) 真实透视投影成像坐标 摄像机中坐标 在图像平面上，点 直线
p(Hale Waihona Puke BaiduX d , Yd )
p( x, y, z )
p ， ( X u , Yu )
T 1 T 2 T 3
p12 p22 p32
p13 p23 p33
p14 x 0 p24 0 y 1 0 0
u0 v0 1 r1T 0 T r2 0 T r3 0 0
u0 v0 1
p14 x 0 p24 0 y 1 0 0
r1 / Ty r /T 2 y r3 / Ty z w X d Tx / Ty X d r4 / Ty r5 / Ty r /T 6 y
定标算法
定标步骤: 1.利用径向一致约束来求解R, Tx , Ty 和
s
DLT变换
直接线性变换是将像点和物点的成像几何关系在齐次坐标下 写成透视投影矩阵的形式：
X w X w u Y Y s v K R t w P34 w Zw Zw 1 1 1
u0 v0 1
r1T 0 T r 0 2T r 0 3 0
tx T T x r1 u0 r3 ty y r2T v0 r3T tz r3T 1
x t x u0t z y t y v0t z
AL 0
其中 A为 2N *12 的矩阵， 为透视投影矩阵元素组成的 L 向量 p11 , p12 , p13 , p14 , p21 , p22 , p23 , p24 , p31 , p32 , p33 , p34 。
T
DLT变换
像机定标的任务就是寻找合适的 L ，使得|| 最小，即 min
R3r13 , r23 , r33
1 3
2
R2r12 , r22 , r32
向量 R1 ,R2 , R3 是两两 垂直的单位向量
由 cos 2 1 cos 2 2 cos 2 3 1
3.2、R. Tsai 的 RAC的定标算法
80年代中期Tsai提出的基于RAC的定标方法是计 算机视觉像机定标方面的一项重要工作，该方法的 核心是利用径向一致约束来求解除 （像机光轴方 向的平移）外的其它像机外参数，然后再求解像机 的其它参数。基于RAC方法的最大好处是它所使用的 大部分方程是线性方程，从而降低了参数求解的复 杂性，因此其定标过程快捷，准确。
摄像机标定
1、引言：什么是摄像机标定 2、摄像机标定方法的分类 3、传统摄像机标定方法
1、引言
摄像机标定的目的：三维重建
三维重建：摄像机标定的主要目的，也是计算机视觉的最 主要的研究方向. (Marr 1982)，所谓三维重建就是指从图象 出发恢复出空间点三维坐标的过程。
摄像机标定：建立摄像机图像像素位置与场景点位置之间 的关系，其途径是根据摄像机模型，由已知特征点的图像 坐标求解摄像机的模型参数。 三维重建的三个关键步骤 •摄像机标定：单个像机 •图象对应点的确定：双目
•像机模型 •径向一致约束 •定标算法
像机模型
（u, v）
(ud, vd)
理想图像坐标到数字图像坐标的变换 （只考虑径向偏差）
（u0, v0）
(ud u0 )(1 k1 (u v )) u u0
2 d 2 d
(vd v0 )(1 k1 (u v )) v v0
tx x r1T u0 r3T ty y r2T v0 r3T tz r3T 1
r11 r12 0 r21 r22 0 r31 r32 0 0 0
r13 t x r23 t y r33 t z 0 1
其中
摄像机的内参数矩阵 K
xw u ffu ffu cot u0 v 0 ff / sin v R t y w zc v 0 zw 1 0 0 1 1 K
r3 p34 p3 u0 ( r u r )r3 p p p3
T x 1 T 0 3 2 34 T 1 2 T v0 ( y r2T v0 r3T )r3 p34 p2 p3 2 x p34 p1 p3
r1 r1
x
p34 p34
( p1 u0 p3 ) ( p2 v0 p3 )
o'
由径向约束
oc
y
x X d r1 xw r2 yw r3 zw Tx y Yd r4 xw r5 yw r6 zw Ty
移项得：
xwYd r1 ywYd r2 zwYd r3 YdTx xw X d r4 yw X d r5 zw X d r6 X dTy
2）基于交比不变的摄像机畸变系数标定 • 特点：将畸变参数单独进行标定
• 优点：算法简单，与其它内外部参数分离 • 缺点：误差受样本点的影响
3、摄像机传统标定方法
3.1、DLT方法 3.2、RAC方法 3.3、张正友的平面标定方法(ICCV, 1999)
3.1、直接线性变换（DLT变换）
Abdal-Aziz和Karara于70年代初提出了直接线性变 换像机定标的方法，他们从摄影测量学的角度深入 的研究了像机图像和环境物体之间的关系，建立了 像机成像几何的线性模型，这种线性模型参数的估 计完全可以由线性方程的求解来实现。
DLT变换
p11 X w p12Yw p13Z w p14 p31uX w p32uYw p33uZ w p34u 0 p21 X w p22Yw p23Z w p24 p31vX w p32vYw p33vZw p34v 0
当已知 N 个空间点和对应的图像上的点时，可以得到一个 含有2* N 个方程的方程组：
消去 s ，可以得到方程组:
p11 X w p12Yw p13Z w p14 p31uX w p32uYw p33uZ w p34u 0 p21 X w p22Yw p23Z w p24 p31vX w p32vYw p33vZw p34v 0
' p34 p31t1 p32t 2 p33t 3 p34
R t
' 显然在一般的情况下 p34 p34
DLT变换
另一个约束
2 2 2 p31 p32 p33 1 具有旋转和平移的不变性
R1 r11 , r21 , r31
P3 ( p31, p 32 , p33 )
Ty 得： r3 Tx r5 r1 r2 r4 r1 xwYd ywYd zwYd Yd xw X d yw X d zw X d X d Ty Ty Ty Ty Ty Ty Ty
写成矢量形式得：
同除以
xwYd
ywYd
z wYd Yd
xw X d
yw X d
' ud sx d x1 X d u0 1 vd d y Yd v0
2.求解有效焦距 f 、z方向上的平移T3 和畸变参数 k1
2、摄相机标定方法分类
• 传统摄像机标定方法
• 基于交比不变的摄像机畸变系数标定
1）传统的摄像机标定方法
特点
利用已知的景物结构信息。常用到标定块。
1）传统的摄像机标定方法
• 优点
可以使用于任意的摄像机模型，标定精度高
• 不足
标定过程复杂，需要高精度的已知结构信息。 在实际应用中很多情况下无法使用标定块。
p( X d , Yd )
共线，与
op
平行或斜率相等.
像机模型
xw
O
zw
yw
世界坐标系和摄像机坐标系的关系
z
v u
x
x r1 xw r2 y w r3 z w Tx y r4 xw r5 y w r6 z w Ty z r x r y r z T 7 w 8 w 9 w z
Affine Transformation :
V
Yd
yd
xd yd cot u u0 dx dx yd v v0 dy sin
f u cot f v / sin 0
v0
C
u0
fu 1 1 , fv dx dy
O1
xd
Xd
U
齐次坐标形式:
u f u v 0 1 0 u 0 xd v0 yd 1 1
x t x u0t z y t y v0t z
tz
p34 p3 r3
1 p34 p3
是正交单位矩阵的第 三行，行列式为1
摄像机内外参数求解
p p34 p p
T 1 T 2 T 3
p14 x 0 p24 0 y 1 0 0
L
AL ||
为
|| AL ||
p11 X w p12Yw p13Z w p14 p31uX w p32uYw p33uZ w p34u 0 p21 X w p22Yw p23Z w p24 p31vX w p32vYw p33vZw p34v 0
y
t z m34 tx ty
y p p2 p3
2 34
x
p34 p34
( p14 u0 ) ( p24 v0 )
y
DLT变换
p34 1 是否合理？
约束 p34 1 不具有旋转和平移的不变性,解将随着世 界坐标系的选取不同而变化. 证明： 世界坐标系作刚性坐标变换 P ' P 0 1 则
•二图象间摄像机运动参数的确定：单个像机运动
坐标系
1、世界坐标系：
X w , Yw , Z w
Xw
Zw Yw
2、摄像机坐标系： X c , Yc , Z c 3、图像坐标系:
u, v x, y
Xc
Ow
世界坐标系
x u v
O1
图像坐标系
Zc
y
O
Yc
摄像机坐标系
图像数字化
O1在 u, v 中的坐标为 u 0 ,v0 象素在轴上的物理尺寸为 dx, dy
L向量的比例有意义
给出约束： p34
1
L' (C T C ) 1 C T B
L' 为 L 的前11个元素组成的向量， 为 A 前11列组成的矩 C 阵， 为 A 第12列组成的向量。 B
摄像机内外参数求解
p11 p34 p21 p31
p p34 p p
其中 u,v,1 为图像坐标系下的点的齐次坐标，X w , Yw , Z w 为 P 3 4 s 世界坐标系下的空间点的欧氏坐标， 为 的透视投影 矩 阵， 为未知尺度因子。
DLT变换
P34
p11 p12 p13 p14 pij p21 p22 p23 p24 p31 p32 p33 p34 su p11 X w p12Yw p13 Z w p14 sv p21 X w p22Yw p23 Z w p24 s p X p Y p Z p 31 w 32 w 33 w 34
2 d 2 d
(ud, vd)为一个点的数字化实际坐标，（u, v） 为理想的数字化坐标，（u0, v0）为畸变中心
径向一致约束
理想透视投影成像坐标 p( X u , Yu ) 真实透视投影成像坐标 摄像机中坐标 在图像平面上，点 直线
p(Hale Waihona Puke BaiduX d , Yd )
p( x, y, z )
p ， ( X u , Yu )
T 1 T 2 T 3
p12 p22 p32
p13 p23 p33
p14 x 0 p24 0 y 1 0 0
u0 v0 1 r1T 0 T r2 0 T r3 0 0
u0 v0 1
p14 x 0 p24 0 y 1 0 0
r1 / Ty r /T 2 y r3 / Ty z w X d Tx / Ty X d r4 / Ty r5 / Ty r /T 6 y
定标算法
定标步骤: 1.利用径向一致约束来求解R, Tx , Ty 和
s
DLT变换
直接线性变换是将像点和物点的成像几何关系在齐次坐标下 写成透视投影矩阵的形式：
X w X w u Y Y s v K R t w P34 w Zw Zw 1 1 1
u0 v0 1
r1T 0 T r 0 2T r 0 3 0
tx T T x r1 u0 r3 ty y r2T v0 r3T tz r3T 1
x t x u0t z y t y v0t z
AL 0
其中 A为 2N *12 的矩阵， 为透视投影矩阵元素组成的 L 向量 p11 , p12 , p13 , p14 , p21 , p22 , p23 , p24 , p31 , p32 , p33 , p34 。
T
DLT变换
像机定标的任务就是寻找合适的 L ，使得|| 最小，即 min
R3r13 , r23 , r33
1 3
2
R2r12 , r22 , r32
向量 R1 ,R2 , R3 是两两 垂直的单位向量
由 cos 2 1 cos 2 2 cos 2 3 1
3.2、R. Tsai 的 RAC的定标算法
80年代中期Tsai提出的基于RAC的定标方法是计 算机视觉像机定标方面的一项重要工作，该方法的 核心是利用径向一致约束来求解除 （像机光轴方 向的平移）外的其它像机外参数，然后再求解像机 的其它参数。基于RAC方法的最大好处是它所使用的 大部分方程是线性方程，从而降低了参数求解的复 杂性，因此其定标过程快捷，准确。
摄像机标定
1、引言：什么是摄像机标定 2、摄像机标定方法的分类 3、传统摄像机标定方法
1、引言
摄像机标定的目的：三维重建
三维重建：摄像机标定的主要目的，也是计算机视觉的最 主要的研究方向. (Marr 1982)，所谓三维重建就是指从图象 出发恢复出空间点三维坐标的过程。
摄像机标定：建立摄像机图像像素位置与场景点位置之间 的关系，其途径是根据摄像机模型，由已知特征点的图像 坐标求解摄像机的模型参数。 三维重建的三个关键步骤 •摄像机标定：单个像机 •图象对应点的确定：双目
•像机模型 •径向一致约束 •定标算法
像机模型
（u, v）
(ud, vd)
理想图像坐标到数字图像坐标的变换 （只考虑径向偏差）
（u0, v0）
(ud u0 )(1 k1 (u v )) u u0
2 d 2 d
(vd v0 )(1 k1 (u v )) v v0
tx x r1T u0 r3T ty y r2T v0 r3T tz r3T 1
r11 r12 0 r21 r22 0 r31 r32 0 0 0
r13 t x r23 t y r33 t z 0 1
其中
摄像机的内参数矩阵 K
xw u ffu ffu cot u0 v 0 ff / sin v R t y w zc v 0 zw 1 0 0 1 1 K