摄像机标定张正友

Dk d
然后，通过线性最小二乘的方法求出径向畸变系数：
k ( D D) D d
T T
1
４ 程序实现
• 张正友标定方法流程
1.打印一张标定板，然后附加到一个平坦的表面上。
2.通过移动相机或者平面拍摄标定板各种角度的图片。
3.检测图片中的特征点 4.计算5个内部参数和所有的外部参数
5.通过最小二乘法先行求解径向畸变系数。
X t Y 1
我们假定： H Ar1
这里，矩阵H就是从世界坐标系到图像坐标系的3×3大 小的单应性矩阵。对H再次进行变形，假设h1,h2,h3是 H的列向量，有： H h1 h2 h3 Ar1 r2 t
~ ~ sm HM
r2 t 则原式可化为：
精度高，过程复杂，需要高精度已知信息。 2.主动视觉摄像机标定方法 已知摄像机的某些运动信息。可线性求解，鲁棒性高， 但大多数场合不能得到摄像机运动信息。 3.摄像机自标定方法 靠多幅图像之间的关系进行标定，灵活性强，非线性 标定， 鲁棒性不高。
2 成像变换与摄像机模型、参数
• 图像数字化
O1在 u , v 中的坐标为 u 0 , v0 象素在轴上的物理尺寸为 dx, dy
• 改进算法只需要至少3个非共线点与2幅图片即可 求出参数，并且避免了大规模矩阵运算。 基于该算法的特点，常用钟表盘与三角形进行标定。 实验表明该算法在图片大于6幅图、cos θ 介于[-0.5,0.5] 时，结果较精准。
~ ~ sm HM
上式中包含XY 两个方程；H为3乘3矩阵，包 含一个齐次坐标与8个未知数，要求出H，至 少需要8个方程，也就是说，一幅图片至少需 要已知的4个点才能求出H。

求解内置参数矩阵A
r1 r2 1

1
A 1h1 A 1h2
T T 1 h1 A A h2 0
T T 1 T T 1 h1 A A h1 h2 A A h2
其中
成像模型与参数
~ ~ sm A[R, t ]M
内参矩阵 旋转矩阵
平移矩阵 三维坐标
任意数
二维坐标
m [u, v]
T
图像二维坐标 世界三维坐标
M [ X , Y , Z ]T
S为深度比例因子，方便计算，可消去。
摄像机的内参数矩阵 A
u ffu ffu cot u0 0 R zc v ff / sin v v 0 0 0 1 1
H h1 h2
r1 r2 1
h3 Ar1 r2 t
A 1h1 A 1h2
r1 r2 r3 1 r1 r2 r2 r3 r3 r1 0
2
2
2

1
r1T r2 0
r1 r2 1

旋转矩阵R=[r1,r2.r3];分别为xyz方向的旋转向量；我 们将用上述性质得到求解内置参数矩阵的约束方程。
v ( B B B B ) /( B B B 2 ) 12 13 11 23 11 22 12 0 B33 [ B13 2 v0 ( B12 B13 B11 B23 )] / B11 f u / B11 2 f B /( B B B v 11 11 22 12 ) 2 s B f 12 u f v / u sv / f B f 2 / 0 v 13 u 0
u u (u u0 )[k1 ( x2 y 2 ) k2 ( x2 y 2 )2 ] v v (v v0 )[k1 ( x2 y 2 ) k2 ( x2 y 2 )2 ]
(u u0 )(x 2 y 2 ) (u u0 )(x 2 y 2 ) 2 k1 u u 2 2 2 2 2 (v v0 )(x y ) (v v0 )(x y ) k2 v v
与o的坐标：
Zo为比例因 子，计算可 消去。
上式两端分别叉乘a,b,c
约束条件：
• 由右图可得： • 、
根据
上式转化：
将（8）（9）（10）带入上式有：
现在只有K 内含有5个 未知数，所 以至少只需 要两幅图片 即可求出K
其中
第二种情况
将非共线点绕某条边转： O点坐标可表示为：
O坐标可表示为：

r1T r2 0
r1 r2 1
求出 H h1 h2 h3 Ar1 r2 t 后，可应用上 述的约束矩阵来求解内置参数矩阵A。
A 0 0
u0 v0
0 1
A中有5个未知数，我们需要 至少5个方程，也就是说至少 需要3幅图片求解Ａ。
我们假定：
B11 B AT A1 B21 B13 1 2 2 v0 u0 2 B12 B22 B23 B13 B23 B33
2
1

2 2 (v0 u0 ) v0 2 2 2
按第一种情况相同的方法可以得到:
将三式代入约束 条件，得到
其中h1,h2与第一种情况有相同结构。
• 求解内参矩阵K的方法和张正友的前期方法相同，不再介 绍。
外参矩阵的求解
根据 并且已知K，我们可以得到
（A(i),B(i),C(i)）用G表示. 用(8)(9)(10)或者(16)(17)(18)式 代替 得到: m1,m2m3取决于旋转轴的选取。 得到外参矩阵：
u0 A 0 v 0 0 0 1 v0 u0 2 (v0 u0 ) v0 2 2 2 2 2 (v0 u0 ) v0 1 2 2 2
很显然，B是一个对称矩阵，我们假定：
b B11 B12 B22 B13 B23 B33
T
设H矩阵中第i列的向量为
hi hi1 hi 2
中有：
hi 3
T
带入到
h1T AT A1h2 0

hi B hj
解得： vij
T 1 T 1
T
hi1hj1 hi1hj 2 hi 2hj1 hi 2hj 2 hi3hj1 hi1hj3 hi3hj 2 hi 2hj3 hi3hj3 v12 b 0
r1 A1h1 1 r A h2 2 r3 r1 r2 1 t A h3 1 1 1 1 A h1 A h2
畸变校正模型
由于透镜的中心对称 性，所以式中考虑x 方向上与y方向上的 径向畸变率是相同的
x x x[k1 ( x 2 y 2 ) k2 ( x 2 y 2 )2 ] y y y[k1 ( x 2 y 2 ) k2 ( x 2 y 2 )2 ]
轴L为可以由（A,B,C）所表示的垂直于平面的直线，点O为轴 交平面的交点。旋转前为（A(i),B(i),C(i)）,旋转后为（A(j),B(j),C(j)） 对应的图像坐标点为（a(i),b(i),c(i)）, （a(j),b(j),c(j)）与点o.
按图（a）的情况，则o的坐标可表示为：
其中 因为噪声的影响，图片中三条线不会准确的交于某个点， 所以需要用最小二乘法计算。 按图（b）的情况，则有：
张正友标定算法 及其改进算法
组员：
• • • • •
1 2 3 4 5
摄像机标定简介 成像变换与摄像机模型、参数 张正友标定算法原理 程序实现 改进型算法（基于三个非共线点的标定 方法）
1 摄像机标定简介
1 摄像机标定:求解摄像机参数的过程，建立摄像机图像像 素位置与场景点位置之间的关系，其途径是根据摄像机模 型，由已知特征点的图像坐标求解摄像机的模型参数。 2 摄像机标定的目的：三维重建，就是指从图象出发恢复出 空间点三维坐标的过程。
三个非共线点旋转
• 1.假如我们已知世界坐标中三个非共线的点（A，B，C） 和图像坐标中对应的点（a,b,c）坐标。 （A,B,C）可以得到一个向量（l1,l2, θ），如图：
该方法求解参数的 约束方程将Fra Baidu bibliotek上述 向量得到。
旋转轴的选取： 1.三个非共线点绕垂直于支持平面的轴旋转180 度 2.将非共线点绕某条边转 第一种情况：
xd yd cot u u0 dx dx yd v v0 dy sin
f u cot f v / sin 0
V
Yd
yd
Affine Transformation :
v0
C

u0
fu 1 1 , fv dx dy
O1
xd
Xd
齐次坐标形式:
u f u v 0 1 0 u 0 xd y v0 d 1 1
Xc Xw Ow Zw Yw
x u v
O1
图像坐标系
Zc
y
世界坐标系
O
Yc
摄像机坐标系
坐标系
• 三个坐标系： 1、世界坐标系：
X w , Yw , Z w
2、摄像机坐标系： x,y,z 3、图像坐标系:
Xw,Yw,Zw
u, v x, y
x,y x’ y’ u,v
Z=0
考虑径向失真
3 几种标定方法的介绍： 1.传统的摄像机标定方法 利用已知的景物结构信息，与图片坐标对比，常用到 标定块。
x0 x' y0 y' z0 z ' 1 1
3 张正友方法简述
• 单应性矩阵H
假如世界坐标与摄像机坐标的XY平面重合，即Z=0，有：
u Ar r s v 1 2 1
r3
X Y t Ar1 r2 0 1
基于三个非共线点在特殊运动下的摄像机标定
• 我们知道至少三点可以确定一个平面，而张正友的标定方 法正是基于两个平面的匹配，所以三个非共线点的标定方 法理论是可行的。 该方法步骤： • 1 旋转3个非共线点 • 2 得到中心点O与o坐标 • 3 根据约束条件建立方程 • 4 求解内参矩阵K • 5 求解外参[R，t] 图像的成像模式：
A
xw y t w zw 1
摄像机外参数矩阵 [R t]
cos sin sin x cos cos y sin sin cos sin sin sin cos cos sin cos z cos sin cos cos sin sin sin cos cos cos 0 0 0 1
6.通过求最小参数值，优化所有的参数
５ 改进型算法
以上讲述张的方法为基于匹配的方法，它是张在1999年的 论文《A Flexible New Technique for Camera Calibration》提出来的，目前已经得到广泛应用。它至 少需要4个已知点来求解每张图片的单应性矩阵H，至少 需要3张图片求解内置参数矩阵A。那么能不能以更少的 已知匹配点来求解参数呢？ 张正友等人在2008年的一篇论文 《Camera Calibration With Three Noncollinear Points Under Special Motions》中提出了至少只需要3个 已知非共线的点，和2幅图片的方法。
(v11 v22 )T b 0
T

vij b
T

h A A h2 0
T T 1 h1T AT A1h1 h2 A A h2
v12T b 0 (v11 v 22)T
Vb 0
• Ｂ矩阵的解出，相机内参矩阵A也就求解出，从而每张图像的 R，t也迎刃而解