摄像机模型和参数标定方法

对于多组空间点，有：
xw1 yw1 zw1 1 0 0 0 0 u1xw1
0
0
0 0 xw1 yw1 zw1 1 v1xw1
xwn ywn zwn 1 0 0 0 0 unxwn
0 0 0 0 xwn ywn zwn 1 vnxwn
u1yw1 v1yw1
un ywn vnywn
Faugeras的摄像机标定方法
摄像机模型
内参数为4参数模型
u ax Zcv0
1 0
0 ay 0
u0 v0 1
0 0 0R 0
xw
xw xw
1 tzy1w wM 1M2zy1w wMzy1w w
m11 m12 m13 m14 M m21 m22 m23 m24
m31 m32 m33 m34
摄像机的标定（直接最小二乘）
u ax 0 u0xc1
v 0
1
0
ay 0
v0 1
y1c1
u ax 0 u0xc
zc
v 1
0 0
ay 0
v10zycc
ax 0 u0
Tr
0 0
ay 0
v0 1
4参数模型
ax ts u0
Tr
0 0
ay 0
v0 1
5参数模型
小孔模型，外参数
Xc Π2
Oc
P2
Zc
Yc
Π1
Xw P1 Ow
带约束条件摄像机的标定
将CR分别对X3、X9求偏导数，并令其为0，有：
CR X3
2CTCX3 2CTBX9
2X3
0
CR X9
2BTBX9
2BTCX3
0
[CTCCTB(BTB)BTC]X3X3
X9(BTB)BTC3X
令 D C T C C TB (B TB )B T C，则X3即为D的特征向量。
此外，利用下述方法也可以求得X3、X9：
1 1 0 0
1 1 0 0 1 1
K 121
u1 v1 1K 1K 112
K 1K 112 K 12 2K 22 2
K 1K 2K 11 3K 1 K 123K 22 3 u v2 2 0
K 1K 113K 1K 21 3K 2K 223 K 123K 2231 1
BX 9CX 30 由最小二乘法，求得X9与X3的关系：
X9(BTB)1BTC3X
B(BTB)1BTCX3CX3 0 [CB(BTB)1BTC]X3 0 [CTCCTB(BTB)1BTC]X3 0
DCTC-(CTB)(BTB)1BTC
X3 V, X3 -V X9 (BTB)1BTCX3
R.Y. Tsai, A versatile camera calibration technique for high-accuracy 3D machine vision metrology using off-the-shelf cameras and lens, IEEE Transactions on Robotics and Automation, 3(4),1987
u1zw1 v1zw1
un zwn vn zwn
u1 v1
un vn
mm1143
m21 m22
m23 m24 m31
0
m32
m33
m34
带约束条件摄像机的标定
m1 1
m1
2
xw1
0
yw1 0
zw1 0
10 0 xw1
0 yw1
0 zw1
0 1
Tsai的摄像机标定方法
符号与条件
p0图像平面原点位置 ri从点p0到图像点pi(xi,yi)的矢量 pi (xi,yi,zi) 是标定点 (~ xi,~ yi)是 (xi,yi)径向畸变产生的点
o
y p0'
ri
y'
ri从点(0, 0, zi)到pi的矢量
Z
0,0, zi
条件：1、世界坐标系的原 点不在视场内。
O.D. Faugeras, G. Toscani, The calibration problem for stereo, IEEE Computer Society Conference on Computer Vision and Pattern Recognition, pp15-20, Florida, 1986
uv11m m1143
u1xw1 v1yw1
xwn ywn zwn 1 0
0
0
0 unm m2221unxwn
0
0
0
0
xwn
xwn
xwn
1
vnm2
3
vnxwn
u1yw1 v1yw1
unywn vnywn
u1zw1
uvn1 zzww1nm m m333
1 2 3
0
vnzwn
m2 4
内参数标定
( u 1 v 2 u 2 v 1 ) h 1 ( u 1 u 2 ) h 2 v 1 v 2 h 3 ( v 1 v 2 ) h 4 h 5 u 1 u 2
对于N幅图像，可以得到N个上述方程，利用最小二乘法， 可以求出h1~h5。
h1
K12, K11
h2
K13, K11
u0tz v0tz
tz
摄像机的标定
m m m132T T T
m m1244aaxyrr12TT uv00rr33T T m34 r3T
aaxyttxyuv00ttzz tz
ax m1 m3 auy 0mm21Tmm3 3 , v0 m2T m3
r1 (m1 u0m3) / ax
zzccuvm m1211xxw w m m1222yyw wm m1233zzw wm m1244 zc m31xwm32ywm33zwm34
Faugeras的摄像机标定方法
摄像机的标定
m m 1 2 x x w w 1 1 m m 1 2 y y w w 2 2 m m 1 2 z z w w 3 3 m m 1 2 4 m 4 m 3 3 x x w w 1 u 1 v m m 3 3 y y w w 2 u 2 v m m 3 3 z z w w 3 u 3 v m m 3 3 u v 4 4
h3K 12 K 2 1K 2122 2,
h4K 1K 21K 3 1K 212K 223 ,
h5
K132
K232 K112
1
内参数标定
h1
K12, K11
h2
K13, K11
h3K 12 K 2 1K 2122 2,
h4K 1K 21K 3 1K 212K 223 ,
h5
K132
K232 K112
1
K12 h1K11 K13 h2 K11
K22 h3h12K11
K23
h4 h1h2 h3 h12
K11
K11
h3h12 h5h3h2 2h3h12h5h4 22h1h2h4
dx K 11
dy K 22
v0
K 23 dy
ts
K 12 dxdy
u 0 t s v 0 dy
K 13 dx
内参数标定
H11 H12 H13u2
u1 v1 1H12 H22 H23v20
H13 H23 H331
H H 1 12 1H H 1 22 2H H 1 2 3 3 K K 11 K 1 2 1 12
K 1K 112 K 12 2K 22 2
K 1K 113
K 1K 21 3K 2K 223
r2
(m2
v0m3 )
/
ay
tx
r3 m3 (m14 u0m34 ) / ax
t
y
(m24
v0m34 ) / ay
tz m34
r3 r3 0 r1 r3 1 r2 r3 1
r1 r3 0 r3 r3 1
Faugeras的摄像机标定方法
带约束条件 r34 1 时，摄像机的标定
H 13H 23H 3 3 K 1K 113K 1K 21 3K 2K 223 K 12 3K 22 31
H 1u 1 1u2(u1v2u2v1)H 1 2(u1u2)H 1 3v1v2H 2 2(v1v2)H 2 3H 3 3 0 (u1v2u2v1)H H 1 1 2 1 (u1u2)H H 1 1 3 1 v1v2H H 1 2 1 2 (v1v2)H H 1 2 1 3 H H 1 3 1 3 u1u2 (u1v2u2v1)h1(u1u2)h2v1v2h3(v1v2)h4h5u1u2
摄像机模型与参数标定方法
徐德 副教授 2019年11月30日
内容提要
小孔模型 摄像机参数 基于灭点(vanish)的内参数标定 Faugeras的摄像机标定方法 Tsai的摄像机标定方法 仿射变换法
小孔模型
Π2
X Π2
O
P2
Z
P 2
Y
Π1 P1
图1 小孔成像原理
所有景物通过 摄像机光轴中 心点投射到成 像平面上
m3
4
BX 9CX 30 由约束条件 X3 2 1，判别标准变为使CR最小：
C RB9 X C32 X (X 32 1 )
对于所有的实数，有：
C R ( B 9 C X 3 ) T ( X B 9 C X 3 )X
X 9 T B T B 9 X 3 T C T C 3 X X 9 T B T C 3 X X 3 T C T B 9 X ( X 3 T X 3 1 )
m11 m12
u1zw1
m13 m14
u1m34
v1zw1
m2
1
v1m3
4
unzwnmm2223
unm34
vnzwnm24 vnm34
m31
m32 m33
摄像机的标定
令m34 1, AmB m(AT A)ATB
m341/ m3 将M阵中的每一个元素乘以m34，得到的结果作为M阵。
R M2 0
t 1
rr12TT r3T
0
tx ty tz
,
1
M mm12TT m3T
mm1244 m34
mm12TT m3T
mm1244
ax
0
m34 0
0 ay 0
u0 v0 1
000rrr0132TTT
tx ty tz 1
aaxyrr12TT
u0r3T v0r3T
r3T
axtx ayty
基于灭点的内参数标定(5参数模型)
Π2
X Π2
O
P2
Z
Y
Π1 P1
图1 小孔成像原理
5参数模型
1
dx
Tr
0
0
ts
u
0
1 dy
v
0
0 1
u1
x c1
v
1
Tr
y
c
1
1 1
内参数标定
X Π2 P2
O
Z
Y
Π1 P1
图2 内参数标定原理
xc1 yc1 1T xc2 yc2 1T
Y
ri
2、世界坐标系的原点不会
X
z
投影到图像上接近于图像坐
标的y轴。
x ~xi, ~yi x'
Zw Yw
图1 小孔成像原理
xc
xw
xw
yc z1c
M2
yw z1w
R 0
1tzy1ww
平面视觉摄像机的标定
平面视觉摄像机的位姿
➢ 摄像机光轴中心线与景物平面平行，景物坐标为
xw yw 0T ➢ 摄像机固定不动，焦距固定。景物坐标系原点可选择
光轴中心线与景物平面的交点，于是有R=I, t=[0 0 d]T, d是选择光轴中心到景物平面的距离。
内参数标定
xc2
xc1
yc1
1
yc2
0
1
x c 1 u 1 d xtsd xtsv d 0 dyx u 0 d u y x 1 K 11K 12K 1 3 u 1 y c 1 T r 1 v 1 0 d y v 0 d y v 1 0K 22K 2 3 v 1
摄像机的标定
xc
xw 1 0 0 0xw xw
zyccR 0 1tzyw w00
1 0
0 1
d0y0wydw
1
1 0 0 0 11 1
平面视觉摄像机的标定
摄像机的标定
xw
u ax zc1v00
0 ay 0
u0xc u ax v10zycc1v00
0 ay 0
uv100ydd1w
u v v u00 a a d dyxy xw w u v2 2 v u11 a a d dyx((y xw w2 2 x yw w 1 1)) a a d dx y xyu w v w 2 2 2 2 u x vy1 1 w w 11
m11
m12
xw1
0
xwn
wk.baidu.com
0
yw1 0 ywn 0
zw1 1 0 0 0 xw1
zwn 1 0 0 0 xwn
0 yw1 0 ywn
0 0 u1xw1 zw1 1 v1xw1
0 0 un xwn zwn 1 vn xwn
u1 yw1 v1 yw1
un ywn vn ywn
小孔模型，内参数
X
xw, yw,zw xc1, yc1,1 xc, yc, zc
1f
Z
x cf
f
y cf
xw zw yw
f z w
x c1
y c1
xw zw yw zw
1
u u0
v
v0
xc1 ax1
yc1 ay1
u v
1
ax1
0
0
0
1 ay1 0
u0
xc1
v0 1
y1c1