第9讲 摄像机模型与标定3 (1) 深圳大学 机器视觉及应用 课件

深圳大学光电子研究所
13/
相机畸变（Lens Distortion）
深圳大学光电子研究所
14/
相机畸变（Lens Distortion）
深圳大学光电子研究所
15/
相机畸变（Lens Distortion）
深圳大学光电子研究所
16/
相机畸变（Lens Distortion）
深圳大学光电子研究所
L 向量的比例有意义
给出约束： p34
1
L' (C T C ) 1 C T B
L' 为 L 的前11个元素组成的向量， C 为 A 前11列组成的矩 阵， B 为 A 第12列组成的向量。
深圳大学光电子研究所
34/
摄像机内外参数求解
p11 p34 p21 p31
摄像机内参
x x 0 y y 0 z M1 z 0 1 1
8/
深圳大学光电子研究所
摄像机坐标系与世界坐标系

摄像机成像几何关系如图所示。 由点O与x、y、z轴组成的直角坐 标系称为摄像机坐标系。OO1为 摄像机焦距。

如果摄像机的视场比较小，而且物体表面深度变化相对 其到摄像机的距离很小的话，物体上各点的深度可以用 一固定的深度值与近似，这个值一般取物体质心的深度 。其模型可近似为
弱透视模型中物体上各点的深度由于使用一固定的深度 值z0来近似.
深圳大学光电子研究所
21/
摄像机透视投影近似模型

弱投影成像误差
弱透视模型误差不仅与物体的深度变化△z有关，而且 还与物体的位置信息(x，y，z)有关系，且可用弱透视的 结果表示。这也就是说误差对物体的不同部分是不同的， 在实际应用中为使用弱透视模型，一般要求物体到摄像 机的距离大于十倍的物体表面深度变化。
深圳大学光电子研究所
7/
图像坐标系与摄像机坐标系
摄像机坐标系： ( x, y, z) 根据小孔成像模型： 用齐次坐标和矩阵表示

X f 0 s Y 1 0
1 u dX 0 s v 1 0
其中 u, v,1 为图像坐标系下的点的齐次坐标， X w , Yw , Z w 为 P 为3 4 的透视投影矩 世界坐标系下的空间点的欧氏坐标， 阵，s 为未知尺度因子。
深圳大学光电子研究所
31/
DLT变换
P34 p11 pij p21 p31 p12 p22 p32 p13 p23 p33 p14 p24 p34
P=(x,y,z)
p=(X,Y,f)
深圳大学光电子研究所
6/
摄像机透视投影模型

摄像机通过成像透镜将三维场景投影到摄像机二维像平面 上。空间物体表面某点的三维几何位置与其在图像中对应 点之间的相互关系是由摄像机成像的几何模型决定的。

图像坐标系

以像素为单位的图像坐标系坐标：(u , v ) 以物理单位表示的图像坐标系：( X , Y ) 每一个像素在X轴与Y轴方向上的 物理尺寸为dX，dY
深圳大学光电子研究所
32/
DLT变换
p11 X w p12Yw p13Z w p14 p31uX w p32uYw p33uZ w p34u 0 p21 X w p22Yw p23Z w p24 p31vX w p32vYw p33vZw p34v 0
su p11 X w p12Yw p13 Z w p14 sv p21 X w p22Yw p23 Z w p24 s p X p Y p Z p 31 w 32 w 33 w 34
消去 s ，可以得到方程组:
p11 X w p12Yw p13Z w p14 p31uX w p32uYw p33uZ w p34u 0 p21 X w p22Yw p23Z w p24 p31vX w p32vYw p33vZw p34v 0
深圳大学光电子研究所
27/
摄相机标定方法分类

传统摄像机标定方法

DLT方法 RAC方法 张正友方法
基于交比不变的摄像机畸变系数标定 自标定方法

深圳大学光电子研究所
28/
传统的摄像机标定方法

优点
可以使用于任意的摄像机模型，标定精度高。
不足
标定过程复杂，需要高精度的已知结构信息。 在实际应用中很多情况下无法使用标定块。
17/
非线性模型
深圳大学光电子研究所
18/
相机标定工具箱
Calibration Toolbox是Matlab现在最流行
的相机标定工具箱 下载地址： http://www.vision.caltech.edu/bouguetj/ca lib_doc/index.html
深圳大学光电子研究所
深圳大学光电子研究所
24/
摄像机透视投影近似模型

各种线性近似和透视模型的比较
深圳大学光电子研究所
25/
Suppose we have two 3D cubes on the ground facing the viewer, one near, one far.
1. 2.
What would they look like in perspective? What would they look like in weak perspective?
当已知 N 个空间点和对应的图像上的点时，可以得到一个 含有2* N 个方程的方程组：
AL 0
其中 A为 2 N *12 的矩阵， L 为透视投影矩阵元素组成的 向量 p11 , p12 , p13 , p14 , p21 , p22 , p23 , p24 , p31 , p32 , p33 , p34 。
x t x u0t z y t y v0t z
tz
p34 p3 r3
1 p34 p3
深圳大学光电子研究所
r3是正交单位矩阵的第 三行，行列式为1
35/
摄像机内外参数求解
p p34 p p
机器视觉及应用
李东 lidong@szu.edu.cn
主要内容

摄像机模型
摄像机透视投影模型 摄像机透视投影近似模型


摄像机标定

DLT方法 RAC方法 张正友方法
深圳大学光电子研究所
2/
Image formation
Let’s design a camera


Idea 1: put a piece of film in front of an object Do we get a reasonable image?
3/
深圳大学光电子研究所
Slide source: Seitz
Pinhole camera
Idea 2: add a barrier to block off most of the rays
– –
This reduces blurring The opening known as the aperture
p p34 p p
T 1 T 2 T 3
p12 p22 p32
p13 p23 p33
x 0 p14 0 y p24 1 0 0
u0 v0 1 r1T 0 T r2 0 T r3 0 0
深圳大学光电子研究所
10/
Inserting photographed objects into images (SIGGRAPH 2007)
Original
深圳大学光电子研究所
Created
11/
相机畸变（Lens Distortion）
深圳大学光电子研究所
12/
相机畸变（Lens Distortion）
深圳大学光电子研究所
29/
直接线性变换（DLT变换）

Abdal-Aziz和Karara于70年代初提出了直 接线性变换像机定标的方法，他们从摄影 测量学的角度深入的研究了像机图像和环 境物体之间的关系，建立了像机成像几何 的线性模型，这种线性模型参数的估计完 全可以由线性方程的求解来实现。
深圳பைடு நூலகம்学光电子研究所
深圳大学光电子研究所
26/
Photo credit: GazetteLive.co.uk
仿射摄像机

正投影、弱透视和平行透视下的投影矩阵都具有
PA是3X4矩阵，它决定了一个三维空间到二维平 面的线性映射，称为仿射摄像机。 重要性质

保平行性 质心投影不变性
仿射摄像机是实际摄像机的近似，它只在感兴趣目标的 深度变化相对其深度而言可忽略不计时才适用。
T
深圳大学光电子研究所
33/
DLT变换
像机定标的任务就是寻找合适的 L ，使得|| 最小，即 min
L
AL ||
为
|| AL ||
p11 X w p12Yw p13Z w p14 p31uX w p32uYw p33uZ w p34u 0 p21 X w p22Yw p23Z w p24 p31vX w p32vYw p33vZw p34v 0
4/
深圳大学光电子研究所
Slide source: Seitz
针孔成像模型

针孔成像模型又称为线性摄像机模型。空间任何一点P在图 像中的成像位置可以用针孔成像模型近似表示，即任何点P 在图像中的投影位置p，为光心O与P点的连线OP与图像平 面的交点。
深圳大学光电子研究所
5/
针孔成像模型

为便于理解，我们将成像平面和景物空间放在同一侧
19/
摄像机透视投影近似模型

正投影（orthographic projection)

最简单的线性近似, 完全忽略了深度信息。物体 到摄像机的垂直距离(深度信息)和物体到光轴的 距离(位置信息)都完全丢失了。

正投影的公式为
深圳大学光电子研究所
20/
摄像机透视投影近似模型

弱投影（weak projection)
u0 v0 1
r11 r12 0 r21 r22 0 r31 r32 0 0 0
r13 t x r23 t y r33 t z 0 1
p14 x 0 p24 0 y 1 0 0
tx T T r u r x 1 0 3 ty y r2T v0 r3T tz r3T 1
深圳大学光电子研究所
22/
摄像机透视投影近似模型

平行投影（paraperspective projection)

把物体平行投影到过质心且与像平面平行的平面上，投 影线平行于质心G和摄像机光心O点的连线。
深圳大学光电子研究所
23/
摄像机透视投影近似模型

平行投影成像误差
可以看到.像点误差是三维点的二阶无穷小。而在弱透 视的情况下，像点误差是三维点的一阶无穷小。这说明 平行透视确实是比弱透视更好的近似。
fx z fy Y z X
0 f 0
0 1 dY 0
x x 0 0 y y 0 0 P z z 1 0 1 1
u0 f v0 0 1 0 0 f 0 0 0 1
30/
DLT变换
直接线性变换是将像点和物点的成像几何关系在齐次坐标下 写成透视投影矩阵的形式：
X w X w u Y Y K R t w P w s v 34 Zw Zw 1 1 1
x y R T z 0 1
Xw Xw Y t Y w M2 w Zw 1 Zw 1 1
摄像机外参
深圳大学光电子研究所
9/
摄像机参数（Camera Parameters）