10第三讲-射影几何基础及摄影机定标

射影几何基础
人类视觉构造
角膜、巩膜；
脉络膜、睫状体、虹膜视网膜>黄斑>中央凹锥体细胞－明视觉细胞杆体细胞－暗视觉细胞
视网膜=中心直径约6毫米的中央区+周边区；
中央区内有直径2毫米的黄斑（呈黄色）；
黄斑中央是中央凹(fovea)，面积约1平方毫米。

中央凹没有杆体细胞，只有锥体细胞，其密度高达每平方毫米150,000．
离开中央凹，锥体细胞急剧减少，而杆体细胞急剧增多，在离开中央凹20度的地方，杆体细胞最多．中央凹的锥体细胞密度很高，是产生最清晰视觉的地方．杆体细胞主要是在黑暗的条件下起作用，同时还负责察觉物体的运动．
射影几何
直角坐标系和仿射坐标系
直角坐标系
仿射坐标系
交比不变
EI AI EI AO I O E A R x :),,,(==一维与二维射影坐标系
y
y y y y y y y y y x
x x x x x x x x x I E I A I E O A I O E A R y I E I A I E O A I O E A R x :),,,(:),,,(====
不变量定理
•射影变换保持直线，直线与点的接合性以及直线上点列的交比不变
•仿射变换除具有以上不变性外，还保持直线与直线的平行性、直线上点列的简比不变
•欧氏变换除具有仿射变换的不变性外，还保持两条相交直线的夹角不变，任意两点的距离不变
齐次坐标
直线上的齐次坐标
无穷远点
齐次坐标和非齐次坐标
•在n 维射影空间中，若某点的非齐次坐标为，则称
为它的齐次坐标，其中
•射影坐标),,,(21n x x x x =)
,,,,(121+=n n x x x x x 1/+=n i i x x x
摄影机定标
一、基础知识
摄像机模型
•针眼摄像机
•成像模型：三维空
间中的物体到视平
面（成像平面）的
投影关系
针眼相机模型
小孔成像几何模型
s
s s s Z Y f y Z X f x ==,
透视投影倒立成像几何示意图
透视投影几何示意图
z f y y x x ='='x z f x ='y z
f y ='
视觉系统坐标系
•像素坐标：表示图像阵列中图像像素的位置；
•图像平面坐标：表示场景点在图像平面上的投影；
•摄象机坐标：即以观察者为中心的坐标，将场景点表示成以观察者为中心的数据形式．(x,y,z)
•场景坐标：也称作绝对坐标(或世界坐标)，用于表示场景点的绝对坐标；(X,Y,Z)
21-=m c x 21-=n c y 21--='m j x ⎪⎭⎫ ⎝⎛---='21n i y '=--⎛⎝ ⎫⎭⎪x s j m x 12'=---⎛⎝ ⎫⎭
⎪y s i n y 12
摄影机坐标系和世界坐标系
⎥⎥⎥⎥⎦
⎤⎢⎢⎢⎢⎣⎡=⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎣⎡⎥⎦⎤⎢⎣⎡=⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎣⎡111011w w w w w w T c c c Z Y X M Z Y X t R Z Y X
二、定标
基本概念
•定义：确定摄像机成像几何模型参数
–图像中每一点的亮度反映了空间物体表面对应点反
射光的强度
–该点在图像上的位置与空间物体表面对应点的几何
位置有关
摄影机参数：表达上述成像几何变换关系的几何模型
的参数
•线性摄影机定标
•非线性摄影机定标
与摄像机标定有关的视觉计算任务
立体视觉中的摄像机定标：
在立体视觉（三维重建）中，一般需要使用两个或更多的摄像机，所以还需要知道各摄像机之间的几何关系
机器人手眼定标(手眼坐标转换hand-eye calibration)：
在机器人视觉中，摄像机一般固定在机器人的末端执行器上(end effector)，因此，还需知道摄像机与末端执行器的相对位置
机器人的两坐标转换(头眼定标(head-eye calibration))：主动视觉系统中的摄像机平台相当于机器人的末端执行器，其原理同于机器人手眼定标
自标定方法：
不需要使用标定物
线性摄影机定标
0v dy
y v u dx x u +=+=；⎥⎥
⎥⎦⎤⎢⎢⎢⎣⎡⎥⎥⎥
⎥⎥⎥
⎦
⎤
⎢⎢⎢⎢⎢⎢⎣
⎡=⎥⎥⎥⎦⎤⎢⎢⎢⎣⎡1100
1001
100y x v dy u dx v u ⎥⎥
⎥
⎦
⎤
⎢⎢⎢⎣⎡⎥⎥⎥⎦⎤⎢⎢⎢⎣⎡--=⎥⎥⎥⎦⎤⎢⎢⎢⎣⎡110000100v u dy v dy dx u dx y x
摄影机坐标系和世界坐标系
⎥⎥⎥⎥⎦
⎤⎢⎢⎢⎢⎣⎡=⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎣⎡⎥⎦⎤⎢⎣⎡=
⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎣⎡111011w w w w w w T
c c c Z Y X M Z Y X t R Z Y X
透视投影几何示意图
z
f y y x x ='='x
z
f
x ='y
z
f y ='
线性摄影机模型
c c
Z fX x =
c
c
Z fY y =
⎥
⎥⎥⎥
⎦
⎤
⎢⎢⎢⎢⎣⎡⎥⎥
⎥⎦⎤⎢⎢⎢⎣⎡=⎥⎥⎥⎦⎤⎢⎢⎢⎣⎡1010
0000001c c c c Z Y X f f
y x Z ⎥⎥⎥⎥
⎦
⎤
⎢⎢⎢⎢⎣⎡⎥⎦⎤⎢⎣⎡⎥⎥⎥⎦⎤⎢⎢
⎢⎣⎡⎥⎥⎥⎥⎥⎥
⎦
⎤
⎢⎢⎢⎢⎢⎢⎣
⎡=⎥⎥⎥⎦⎤⎢⎢⎢⎣⎡110010
0000000100
1
001100w w w T c Z Y X t R f f v dy u dx v u Z ⎥⎥⎥⎥⎦
⎤
⎢⎢⎢⎢⎣⎡⎥⎦⎤⎢⎣⎡⎥⎥⎥⎦
⎤⎢⎢⎢⎣⎡=11001
0000000w w w T y x Z Y X t R v a u a w
w MX X M M ==21
摄影机坐标系和世界坐标系
⎥⎥⎥⎥⎦
⎤⎢⎢⎢⎢⎣⎡=⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎣⎡⎥⎦⎤⎢⎣⎡=
⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎣⎡111011w w w w w w T
c c c Z Y X M Z Y X t R Z Y X
归一化投影关系及坐标•归一化投影关系
•归一化坐标
⎥
⎥
⎥
⎥
⎦
⎤
⎢
⎢
⎢
⎢
⎣
⎡
⎥
⎥
⎥
⎦
⎤
⎢
⎢
⎢
⎣
⎡
⎥
⎥
⎥
⎦
⎤
⎢
⎢
⎢
⎣
⎡
=
1
1
1
1
1
w
w
w
y
x
Z
Y
X
v
a
u
a
⎥
⎥
⎥
⎦
⎤
⎢
⎢
⎢
⎣
⎡
1
v
u
Z
c
⎥
⎥
⎥
⎦
⎤
⎢
⎢
⎢
⎣
⎡
⎥
⎥
⎥
⎦
⎤
⎢
⎢
⎢
⎣
⎡
=
⎥
⎥
⎥
⎦
⎤
⎢
⎢
⎢
⎣
⎡-
1
1
1
1
v
u
v
a
u
a
y
x
y
x
n
n
线性摄影机定标
标定参照物
⎥
⎥
⎥⎥⎦
⎤
⎢⎢⎢⎢⎣⎡⎥⎥
⎥⎦⎤⎢⎢⎢⎣⎡=⎥⎥⎥⎦⎤⎢⎢⎢⎣⎡11343332312423222114131211wi wi wi i i ci Z Y X m m m m m m m m m m m m v u Z 14
131211m Z m Y m X m u Z wi wi wi i ci +++=24232221m Z m Y m X m v Z wi wi wi i ci +++=34
333231m Z m Y m X m Z wi wi wi ci +++=3433323114131211m u m Z u m Y u m X u m m Z m Y m X i wi i wi i wi i wi wi wi =---+++34
33323124232221m v m Z u m Y u m X u m m Z m Y m X i wi i wi i wi i wi wi wi =---+++
⎥⎥⎥⎥⎥⎥⎥⎥⎥⎥⎥⎥⎥⎥⎥⎦
⎤⎢⎢⎢⎢⎢⎢⎢⎢⎢⎢⎢⎢⎢⎢⎢⎣⎡=⎥⎥⎥⎥
⎥
⎥
⎥
⎥⎥⎥⎥⎥
⎥
⎥⎥⎦⎤
⎢⎢⎢⎢⎢⎢⎢⎢⎢⎢⎢⎢⎢⎢⎢⎣⎡⨯⎥⎥⎥⎥⎥⎥⎥
⎥⎦⎤⎢⎢⎢⎢⎢⎢⎢⎢⎣⎡------------34343413413332312423
222114*********
11
11
1111111111110
000011
00
000001m v m u m v m u m m m m m m m m m m m Z u Y v X v Z Y X Z u Y u X u Z Y X Z u Y v X v X X X Z u Y u X u X X X n n wn n wn
n wn
n wn
wn
wn
wn n wn n wn n wn wn wn w w w w w w w w w w w w
Km ＝U
m ＝(K T K)-1K T U
⎥⎥⎥⎥⎥⎦
⎤
⎢⎢⎢⎢⎢⎣⎡⎥⎥⎥⎦⎤⎢⎢⎢
⎣⎡=⎥⎥⎥⎦
⎤⎢⎢⎢⎣
⎡10
01
0000001321003242
14134T
z T y T
x T
y
x T T T t r t r t r v u m m m m m m αα⎥⎥
⎥
⎦
⎤
⎢⎢⎢⎣⎡++++=⎥⎥⎥⎦⎤⎢⎢⎢⎣⎡z
T z y y T T
y z x x T
T x T T T
t r t v t r v r t u t r u r m m m m m m 3
03
0203
013242
141341 αααα
3343m m r =()3
123433013300m m m r r u r r r u u T T T x T =+==α()3223433023300m m m r r v r r r v v T T T y T =+==α()31234330131m m m r r u r r r x x x ⨯=⨯+=⨯=ααα()3
1234330131m m m r r u r r r x x x ⨯=⨯+=⨯=ααα()301341m u m m r x
-=α()302342m v m m r y -=α34m t z =()01434u m m t x
x -=α()
02434v m m t y y -=α12345678910
需要注意的问题
•M矩阵确定了空间点坐标和对应图像点坐标之间的关系，但其本身没有物理意义。

•独立变量的个数？
•如何抽取边缘？
非线性模型摄影机定标•非线性畸变
()
y x x x x ,δ+=()y x y y y ,δ+=()()()()()221222122123,y
x s xy p y x p y x x k y x x ++++++＝δ()()()()()2
22122222223,y x s xy p y x p y x y k y x y ++++++＝δ()
211r
k x x +=()2
21r k y y +=
立体视觉定标
111t x R x w c +=2
22t x R x w c +=2
12121
211t R t x R R x c c ---+=21
211
2
121t
R t t R R R t
Rx x c c ---==+=两个摄影机：相对位置
•如何求R,t ？
•极线：反映了两摄影机的相对位置•如何求极线？
()p p c x m M x M u Z 111111==()p p c x m M x M u Z 221222==1
1111m x M u Z c +=22122m x M u Z c +=111121211
1121122m M M m u M M Z u Z c c ---=-1
111212m M M m m --=[]()0111121122=--⨯u M M Z u Z m c c [][]2
12211
1121/,c c c c Z Z Z u m u m u M M Z m =⨯==⨯-⨯[]00121111212==-⨯Fu u u M M m u T
T 极线约束
极线方程，只与M1，M2有关F ：基本矩阵
机器人手眼定标
1
121 ,e c c c Xp p Cp p ==2
221 ,e c e e Xp p Dp p ==XD CX XDp CXp p e e c =⇒==221⎥⎦
⎤⎢⎣⎡⎥⎦⎤⎢⎣⎡=⎥⎦⎤⎢⎣⎡⎥⎦⎤⎢⎣⎡10101010T d d T T T c c t R t R t R t R t
Rt t t R RR R R d c c d
c +=+=
两次平移运动进行手眼定标•独立方程个数？
()
θθθ,0000011k R U e e
U R j j =⎥⎥⎥⎦
⎤⎢⎢⎢⎣⎡=-
-
手眼定标的过程
自定标技术
•普通定标技术的缺陷：
–定标参照物
–摄影机位置等变动后都必须重新定标
•自定标技术：
–不使用定标参照物
–控制摄像机运动并由运动图像分析得到摄像机参数
–应用范围：机器人手眼系统、主动视觉系统
摄像机平移运动时的几何关系为摄影机运动方向。

，而且点连线交于同一点图上的对应
即空间所有点在，
如果摄像机做平移运动定理e
O e I 11
如何实现自定标？
•将摄像机固定在一个可运动的平台上，控制摄像机平台分别沿三个正交方向作平移运动，由每次运动前后由对应点
e i
连线求出相应的O
1
视觉系统标定装置及其应用
Rocky 7 火星机器人
NASA JPL
机器人立体立体视觉系统
大视场立体视觉成像装置超大视场立体视觉成像装置
“863”航天领域项目，通过国防科工委鉴定，该成果达到国际先进水平
第一摄像机第二（参考）摄像机
场景深度图障碍物检测图4－10米
室
内
立
体
视
觉
感
知
8米6米4米。