摄像机模型及坐标变换共65页
摄像机标定原理
(1)
► T是世界坐标系原点在摄像机坐标系中的坐标，
矩阵R是正交旋转矩阵．
► R满足约束条件：
r1 1 2 + r1 2 2 + r1 3 2 = 1 r2 1 2 + r2 2 2 + r2 3 2 = 1 r3 1 2 + r3 2 2 + r3 3 2 = 1 (2)
► 正交旋转矩阵实际上只含有三个独立变量Rx ， 正交旋转矩阵实际上只含有三个独立变量R
► 因此可得物点p与图像像素坐标系中像点pf的 因此可得物点p与图像像素坐标系中像点p
变换关系为：
u − u0 = fsx x / z = fx x / z v − v0 = fsy y / z = f y y / z
(6)
► 其中，fx=fsx，fy=fsy分别定义为X和Y方向的等 其中，f 分别定义为X
效焦距。f 效焦距。fx、fy、u0、v0这4个参数只与摄像机 内部结构有关，因此称为摄像机的内部参数。
► 世界坐标系与图像坐标系变换关系：
X u − u0 r11xw + r12 yw + r13 zw + tx f = f = r x +r y +r z +t x 31 w 32 w 33 w z Y = v − v0 = r21xw + r22 yw + r23 zw + t y f fy r31xw + r32 yw + r33 zw + tz
如果已知三维世界坐标和相应的图像坐标，将变换矩 阵看做未知数，则共有12个未知数。对于每一个物体 阵看做未知数，则共有12个未知数。对于每一个物体 点，都有如上的两个方程，因此，取6 点，都有如上的两个方程，因此，取6个物体点就可 以求得变换矩阵M 以求得变换矩阵M的系数。
齐次坐标变换与成像模型
几何关系
x' x x y' y
y
令 a ctg
代入得
有 x yctg ay
x' x ay y' y
1 0 0 y 1a 1 0 x ay 0 0 1
△x
x
矩阵形式
错切变换（1）
x
y 1 x
x y v x i y j z k (i , j , k , O ) z 0
– 点:
x y p O x i y j z k (i , j , k , O ) z 1
1、二维图形几何变换
1.1 二维图形几何变换的原理
二维图形由点或直线段组成
直线段可由其端点坐标定义 二维图形的几何变换：对点或对直线段端点的变换
P x y
P x y
1.2 几种典型的二维图形几何变换
1.平移变换（translation）
Tx 平行于x轴的方向上的移动量 Ty 平行于y轴的方向上的移动量
几何关系
y
P
x ' x Tx y' y Ty 矩阵形式
Ty
（5-7）
P
x
y x
y Tx
Ty
（5-8）
Tx
平移变换
x
2.比例变换（scale）
指相对于原点的比例变换
Sx
Sy
y
平行于x轴的方向上的缩放量 平行于y轴的方向上的缩放量
x
几何关系
x' x S x y' y S y
像元坐标变换PPT课件
• 有不同的实现算法
53
54
原始图像
几何纠正（三次卷积） 55
控制点的选择
地面控制点（GCP，Ground Control Point）: 一些特定的 象元，其地图坐标或其它输出坐标为已知
•人工地物 • 线性地物交叉点 •不易随时间变化的目标
22
大气影响的粗略校正
L
R T
E0T Sபைடு நூலகம்
cos
R T
SED
SLP
通过比较简便的方法去掉上式中的LP，从而改 善图像质量。
问题：精确校正？？
23
大气影响的粗略校正
（1）直方图最小值去除法 （2）回归分析法
24
（1）直方图校正方法 从图像像元亮度值中减去一个辐射偏置量（LP）， 辐射偏置量等于图像直方图中最小的辐射亮度值。 前提（假设）：水体（或阴影）等物体的灰度值 为0，大气散射导致图像上这些物体的灰度值不为 0（辐射偏置量） 暗物体法（Dark-object method）
You Know, The More Powerful You Will Be
谢谢大家
荣幸这一路，与你同行
It'S An Honor To Walk With You All The Way
演讲人：XXXXXX 时 间：XX年XX月XX日
1
2
George F. Smoot
John C. Mather 3
for their discovery of the blackbody form and anisotropy of the cosmic microwave background radiation 新浪：以表彰他们发现了黑体形态和宇宙微波背景辐射的扰 动现象； 163：他们的研究成果是发现了黑体结构以及宇宙背景辐射 的微波各向异性。 自译：发现了宇宙微波背景辐射的黑体形式和各向异性。
摄像机成像几何
无穷单应 极点1
DLT算法 点对应: m=(u,v,1) m’=(u’,v’,1)
m’T F m = 0 从8对以上点对应,确定F的线性解
极线对应
l ¢= F (q ? l )
F [q ]´ l
纯平移运动下的基本矩阵
P = K (I , 0), P ¢= K (I , t ) F = [e ⅱKK - 1 = [e ] = [e ] ]创
无穷远平面到像平面的单应
在欧氏坐标系下，摄像机 矩阵的前3列构成的子阵 是无穷远平面到像平面的 单应，简称无穷单应。
二次曲线
二次曲线的支 撑平面到像平 面的单应：
C
若二次曲线在支撑平面的表示为C，则它的像曲线为：
绝对二次曲线的图像（IAC）
反向投影
二次曲面
绝对二次曲面的图像
无穷远平面单应H： H (H )T=KKT = * (H )-T (H )-1= K-T K-1 = 绝对二次曲线的图像： =K-T K-1
s m’= H m m’ (H m) = 0 从4对以上点对应,确定H的线性解
无穷远单应
H H , H T K T K 1 H 1 1 KK T T K K T KT K * *
单应的一般表示
*
已知圆心的圆
恢复绝对欧氏结构
例如：已知物体平面有两个全等的图形； 圆：已知圆心和半径
9.5 极几何
：极平面
：对应极线
：对应点 ：对极点
C
C’
基本矩阵
称为基本矩阵
F m lm’ e m’
l’m
ç T ç0 桫
t÷ ÷X ÷ 1÷
极点2 无穷单应 本质矩阵
相机坐标系变换
摄像机标定原理1、像素坐标系UOV以像素为单位，原点在图像左上角，向左为u+,向下为v-。
2、成像平面坐标系X I O I Y I成像平面坐标系建立在成像平面上，对于数字摄像机来说，成像平面即为相机CCD（或CMOS）感应元件平面，成像平面与光轴的交点即为原点，单位为mm。
假设成像平面坐标系原点O I在像素坐标系UOV中的坐标为（u0，v0）,对于图像平面坐标系中的点(u,v)，成像平面坐标系中的点（x1 ,y1）,它们之间的关系如下：u=x1dx+u0v=y1dy+v0其中， dx和dy表示图像中每一个像素在成像平面上对应的物理尺寸，通俗地讲，面积为dx∗dy（单位为mm2）的小单元在图像中表现为一个像素。
我们将上面两个等式改写为矩阵形式为：[uv 1]=[1dx 0u 001dy v 001][x 1y 11] 3、相机坐标系O c −X c Y c Z c相机坐标系O C 建立在摄像机上，坐标原点与投影中心(光心)重合，Z C 轴与成像透镜光轴重合，X C 和 Y C 分别与成像平面坐标系的X I 和 Y I 平行，图中O C O I 的距离即为相机焦距f 。
由透视投影模型可得，摄像机坐标系下的物点P(x c ,y c ,z c )与成像平面坐标系中的点(x 1,y 1)之间的变换关系为：x 1=f x cz cy 1=f y cz c写成矩阵形式为：z c [x 1y 11]=[f 00 0f 0 001 000][x cyc z c1]内部参数矩阵[uv 1]=[1dx 0u 001dy v 0001][x 1y 11]两边同时乘以z c 得 z c [u v 1]=[1dx 0u 001dyv 001]z c [x 1y 11]=[1dxu 01dyv 0001][f 00 0f 0 001 000][x cy c z c 1]=M 1[x cy cz c 1] 其中 M 1=[1dxu 01dyv 001][f 00 0f 0 001 000]=[fdxu 00f dyv 0001]，M 1只与相机的内部参数结构有关，称为相机的内部参数矩阵。
摄像机的各种数学模型(转载 来自MIT课件)
Important question•Why is this toy so expensive–EF 70-200mm f/2.8L IS USM•Why is it better than this toy?–EF 70-300mm f/4-5.6 IS USM•Why is it so complicated?•What do these buzzwords and acronyms mean?Affected by sensor size24mm 50mm 135mmLens quality varies!source: the luminous landscapesource: the luminous landscape•/equipment/canon/70-300do_2/Image corners are often sacrificed •/equipment/canon/70-300do_2/•/equipment/canon/70-300do_2/Gets better when stopped down •/equipment/canon/70-300do_2//equipment/canon/70-300do_2/Again, better when stopped down •/equipment/canon/70-300do_2/Power of lenses•(full aperture, 135mm)source: canon red bookWhy are lenses so complex?•It’s not so easy to send light where it should gosource: canon red bookFrom Ray's Applied Photographic OpticsFrom Ray's Applied Photographic Optics•Wave optics: diffraction problemsFrom Optical System Design by Fisher and TadicGeeky jokeAt first God saidand there was light(interestingly, the jokehas a higher Googlerating than the actualbook of Genesis)Equations from /physics/MaxwellEquations.htmlFrom Hecht's OpticsLots of things get linearizedIncoming coherent plane wave, apertureFourier transformsame path length in bluephase differencemono-chromaticplanewaveIntegral ofshifted/scaledwaveDCAbsolute limit on lensFrom Hecht's Optics Lens diffraction •http://luminous-/tutorials/understanding-series/u-diffraction.shtml(heavily cropped)Lens diffraction•http://luminous-/tutorials/understanding-series/u-diffraction.shtml(heavily cropped)•See alsohttp://www.cambridg/tutorials/diffraction-photography.htmPhoto by Eric Chansource: Hecht Optics will become spherical)From Optical System Design by Fisher and TadicAspherical lensessource: canon red booksource: canon red booksource: canon red bookFrom Hecht's OpticsAstigmatism source: canon red bookDefects source: canon red bookCurvature of fieldsource: canon red bookChromatic aberration•The previous aberrations depend on wavelength(because of varying index of refraction)source: canon red book/optics/chromatic.htmlFrom Hecht's Opticsexpensive and usually not used for cheaper heavily so the effect is often downgraded to a lens will always feature two or more of these special http://www.photozone.de/3Technology/lenstec8.Fluorite•Low dispersionsource: canon red bookDiffractive optics (DO)source: canon red bookFrom Optical System Design by Fisher and Tadicsource: canon red bookEnables smaller lenseserrationUse this instead of normal projectionsource digital outbackGeneral principle•Calibrate lens•Perform image warp•Perform different warps for various color channelsFrom the luminous landscape /reviews/chromatic.shtmlCorrected with Picture Window 3.1From DXOFlareFrom "The Manual of Photography" Jacobson et alOptimized for one wavelengthFrom "The Manual of Photography" Jacobson et alFrom Ray's Applied Photographic Opticssource: canon red bookAdapted from Ray's Applied Photographic Optics Hood is to shortFlare rayGood hoodFlareFighting reflectionssource: canon red book From Optical System Design by Fisher and TadicFlare/ghosting special to digital source: canon red bookCoating for digital source: canon red booksource: canon red book Vignetting•http://www.photozone.de/3Technology/lenstec3.htm •/Pdf_files/how_to_measure_mtf.pdfInputAfter lens /docs/sharpness.htmlSharpness MTF•ModulationTransferFunction•Preety muchFouriertransform oflens response•Complexbecauseneeds to bemeasured atmultiplelocationsource: canon red book Here the x axis is image location Blur index based on Photoshop!Optimization software•Has revolutionized lens design• E.g. zooms are good nowFrom Hecht's OpticsLens design, ray tracing source: canon red book(but are not responsible for focusing) source: canon red bookImage stabilizationsource: canon red bookImage stabilization source: canon red bookImage stabilization source: canon red book1000mm, 1/100s, monopod, IS•/articles2/rubinar/500mm vivitar($100)500mm Canon (5k)References。
摄像机模型和参数标定方法
u1zw1 v1zw1
un zwn vn zwn
u1 v1
un vn
mm1143
m21 m22
m23 m24 m31
0
m32
m33
m34
带约束条件摄像机的标定
m1 1
m1
2
xw1
0
yw1 0
zw1 0
10 0 xw1
0 yw1
0 zw1
0 1
1
K12 h1K11 K13 h2 K11
K22 h3h12K11
K23
h4 h1h2 h3 h12
K11
K11
h3h12 h5h3h2 2h3h12h5h4 22h1h2h4
dx K 11
dy K 22
v0
K 23 dy
ts
K 12 dxdy
u 0 t s v 0 dy
K 13 dx
t 1
rr12TT r3T
0
tx ty tz
,
1
M mm12TT m3T
mm1244 m34
mm12TT m3T
mm1244
ax
0
m34 0
0 ay 0
u0 v0 1
000rrr0132TTT
tx ty tz 1
aaxyrr12TT
u0r3T v0r3T
r3T
axtx ayty
h3K 12 K 2 1K 2122 2,
h4K 1K 21K 3 1K 212K 223 ,
h5
K132
K232 K112
1
内参数标定
h1
K12, K11
h2
K13, K11
摄像机模型
内容（Contents）
成像几何 坐标系和齐次坐标
摄像机参数
透视投影 仿射变换 内参、外参 摄像机标定
成像几何（Projective Geometry）
图像上的像素点与空间中真实点的对应关系
成像几何（Projective Geometry）
成像特点（Properties of Projection ）
点（points）投影后为点； 线（lines）投影后为线； 平面（planes or polygon ）投影后为平面（可能
不是整个平面）。
特殊情况：
经过光心的线投影后退变为点；
经过光心的平面投影后退变为线。
坐标系和齐次坐标（Coordinate Systems and Homogeneous Coordinates）
Xw X w Y t Y w M 1M 2 w Zw 1 Zw 1 1
坐标系旋转与平移
欧拉角 二维坐标系旋转
坐标系旋转与平移
三维坐标系的旋转可以分解成绕三个坐标轴旋
转的乘积 绕x轴旋转：
可以表示无穷远点。
问题: 两条平行线会相交
在欧几里得几何空间里，两条平行线永远都不会
相交。但是在投影空间中，如右图中的两条铁轨 在地平线处却是会相交的，因为在无限远处它们 看起来相交于一点。
在欧几里得（或称笛卡尔）空间里描述2D/3D 几何
物体是很理想的，但在投影空间里面却并不见得。 我 们用 (x, y) 表示笛卡尔空间中的一个 2D 点，而处于 无限远处的点 (∞,∞) 在笛卡尔空间里是没有意义的。
就得到笛卡尔坐标中的 x 和 x，如图所示：
摄像机标定和三维重建
摄像机坐标系
Yc
摄像机光学成像过程的四个步骤
1、刚体变换公式
xc xw
yc
R
yw
t
zc zw
齐次坐标形式
xc
yc
zc
R 0T3
1
xw
t 1
yw xw
1
世界坐标系 刚体变换
摄像机坐标系 透视投影
理想图像坐标系 畸变校正
真实图像坐标系 数字化图像
数字化图像坐标系
如果得到一系列数目大于7个的标志点和它们的对应投影 图像点，就变成了一个过限制方程组，可以由最小二乘法
解出以下的7个变量
a1
t
s1
yx
r1
,
a2
t
s1
yx
r2
,
a3
t
s1
yx
r3
,
a4
t y1sxtx ,
a5
t
r1
y4
,
a6
t
r1
y5
,
a7
t
r1
y6
2.计算 | t y |
由 r42 r52 r62 1
为了校正成像畸变为了校正成像畸变用理想图像坐标系用理想图像坐标系和真实图像坐标系和真实图像坐标系分别描述畸变前后的坐标关系分别描述畸变前后的坐标关系坐标系摄像机光学成像过程的四个步骤刚体变换刚体变换透视投影透视投影畸变校正畸变校正数字化图像数字化图像世界坐标系世界坐标系摄像机坐标系摄像机坐标系真实图像坐标系真实图像坐标系数字化图像坐标系数字化图像坐标系理想图像坐标系理想图像坐标系1刚体变换公式刚体变换公式齐次坐标形式齐次坐标形式物体物体图像图像fobfob为透镜的焦距为透镜的焦距mocmoc为像距为像距naonao一般地由于一般地由于于是于是这时可这时可以将透镜成像模型近以将透镜成像模型近似地用小孔模型代替似地用小孔模型代替2透视投影透镜成像原理图写成齐次坐标形式为写成齐次坐标形式为2透视投影小孔成像模型写成齐次坐标形式为写成齐次坐标形式为2中心透视投影模型drdrdr
摄像机模型分析解析
成像特点（Properties of Projection ）
点（points）投影后为点； 线（lines）投影后为线； 平面（planes or polygon ）投影后为平面（可能
不是整个平面）。
特殊情况：
经过光心的线投影后退变为点；
经过光心的平面投影后退变为线。
坐标系和齐次坐标（Coordinate Systems and Homogeneous Coordinates）
x P y R3 z
Z
P
z O x X y
Y
右手坐标系
齐次坐标（Homogeneous Coordinates ）
所谓齐次坐标就是用n+1维矢量表示一个n维矢量 为什么要用齐次坐标表示？
提供了用矩阵运算把二维、三维甚至高维空间中的一
个点集从一个坐标系变换到另一个坐标系的有 y/w
笛卡尔坐标中的点 (1, 2) 在齐次坐标中就是 (1, 2, 1) 。如果这 点移动到无限远(∞,∞)处，在齐次坐标中就是 (1, 2, 0) ，这样我 们就避免了用没意义的"∞" 来描述无限远处的点。
为什么叫齐次坐标？
前面提到，我们分别用齐次坐标中的 x 和 y 除以 w
空间实际长度与图像中的长度成一定比例放缩
成像几何（Projective Geometry）
消失点（Vanishing Point）
消失点
透视法：大小相同的物体，离
你较近的看起来比离你较远的
大。如当你沿着铁路线去看两 条铁轨，沿着公路线去看两边 排列整齐的树木时，两条平行 的铁轨或两排树木连线交与很 远很远的某一点，这点在透视 图中叫做消失点。 凡是平行 的直线都消失于无穷远处的同 一个点，消失于视平线上的点 的直线都是水平直线。
（学习笔记）摄像机模型与标定——摄像机标定
（学习笔记）摄像机模型与标定——摄像机标定摄像机的内参数：摄像机内参数矩阵(fx,fy,cx,cy)和畸变系数(三个径向k1,k2,k3,两个切向p1,p2)摄像机的外参数:旋转向量（大小为1×3的矢量或旋转矩阵3×3）和平移向量（Tx,Ty,Tz）。
这里我们讲解一下旋转向量：旋转向量是旋转矩阵紧凑的变现形式，旋转向量为1×3的行矢量。
上述公式中r就是旋转向量，1、旋转向量的方向是旋转轴2、旋转向量的模为围绕旋转轴旋转的角度。
通过上面的公式三，我们就可以求解出旋转矩阵R。
同样的已知旋转矩阵，我们也可以通过下面的公式求解得到旋转向量：内参数(fx,fy,cx,cy)与棋盘所在空间的3D几何相关（即外参数）畸变参数则与点集如何畸变的2D几何相关。
1、5个畸变系数的求解：已知模式（我们可以认为是黑色方格，含有四个角点）的三个角点所产生的6组信息（在理论上）可以求解5个畸变参数。
2、内参数fx,fy,cx,cy,和(ψ,φ,θ)，（Tx,Ty,Tz）共10个参数的求解将在下面详细讲述。
首先说明：求解上述2中10个参数的前提是先假设每次的畸变参数为0。
求解4个内参数和6个外参数的分析：假设有N个角点和K个棋盘图像（不同位置），需要多少个视场和角点才能提供足够的约束来求解这些参数呢？1、K个棋盘，可以提供2NK的约束，即2NK的方程。
（乘以2是因为每个点都由x和y两个坐标值组成）2、忽略每次的畸变，那么我们需要求解4个内参数和6K个外参数。
（因为对于不同的视场，6个外参数是不同的）3、那么有解的前提是方程的总数应该大于等于未知参数的总数即2NK>=6K+4,或者写成(N-3)K>=2。
为了方便理解，下图是一个3×3大小的棋盘,红色圈标记出了它含有的内角点：如果我们令N=5,K=1，带入到上述不等式，是满足不等式，这就是意味着我们仅需要一个视场和带有5个内角点的棋盘就可以求解出10个参数了。
（学习笔记）摄像机模型与标定——相机模型
（学习笔记）摄像机模型与标定——相机模型下面理解部分错误，过几天进行修改。
在计算机视觉中，我们就是利用相机模型将三维空间点与二维图像点联系起来的。
在实际中，往往有数学模型来描述摄像机模型，摄像机模型有很多，但是一般分为针孔模型（线性模型）和非线性模型。
1、线性模型可用针孔模型来近似表示任一点P(Xc,Yc,Zc)在像平面的投影位置,也就是说，任一点P(Xc,Yc,Zc)的投影点p(x,y)都是OP（即光心（投影中心）与点P(Xc,Yc,Zc)的连线）与像平面的交点如上一篇文章中的图2.2。
对应比例关系可得：（说明：Xc的c下表表示camera相机，上述公式是在相机坐标系内，利用三角形相似原理，即x/f=Xc/Z，其中上述公式的单位为毫米，f表示焦距单位毫米）上式可以用齐次坐标与矩阵的形式表示为：将上一篇文章中的(2.3)和(2.4)代入(2.6)式就可以得到点P的世界坐标与其投影坐标(u,v)之间的关系为：（说明：上述公式中完成了从世界坐标系到图像坐标系的转变，中间经过了相机坐标系的过度，Xw中的w表示world世界，单位为毫米，而u,v是的单位为像素，即完成了从毫米——像素的转换。
）其中ax=f/dx,ay=f/dy；M是3×4的矩阵—投影矩阵，M1完全由相机的内参数ax,ay,u0,v0决定，(u0,v0)为主点坐标，ax,ay分别表示图像u轴和v轴上的尺度因子，M2则完全由相机的外部参数决定。
而相机标定就是确定相机的内外参数。
由式(2.7)可知，若已知相机的内外参数，则相当于已知投影矩阵M.当已知M和空间点P的坐标：矢量Xw=(Xw,Yw,Zw,1)T，（矢量Xw上面有一个矢量标识杠，T表示矢量的转置）。
式(2.7)可以给出三个方程，消去Zc就可以得到其投影点p的坐标(u,v)（其实也就是我用一个相机就可以拍摄一个物体的图片了）。
但是由于M为3×4不可逆矩阵，当点P的投影坐标(u,v)和投影矩阵M为已知时，我们只能得到关于Xw,Yw,Zw的两个线性方程，即射线OP的方程，由上一篇图2.2我们可以看出，位于射线OP上的所有空间点的投影点（即图像点）都是p点。
摄像机模型及坐标变换
摄像机标定(biāo dìnɡ)的分类
从求解(qiú jiě)参数的结果来分 隐式
隐参数标定是以一个转换矩阵表示空间物点与二维像点的对应关系，并以转 换矩阵元素作为标定参数，由于这些参数没有具体的物理意义，所以称为隐 参数定标。在精度要求不高的情况下，因为只需要求解线性方程，此可以获
不管怎样分类，标定的最终目的是要从图像点中求出物体的待 识别参数，即摄像机内外参数或者投影矩阵。然而，不同应用 领域的问题对摄像机定标的精度要求也不同，也就要求应使用 不同的标定方法来确定摄像机的参数。
例如： 在物体识别应用系统中和视觉精密测量中，物体特征的相对位
置必须要精确计算，而其绝对位置的标定就不要求特别高； 在自主车辆导航系统中，机器人的空间位置的绝对坐标就要高
不依赖于标定参照物的摄像机标定方法，仅利用摄像机在运 动过程中周围环境的图像与图像之间的对应关系对摄像机进 行的标定称为摄像机自标定方法
精品PPT
摄像机标定(biāo dìnɡ)的分类
从所用模型(móxíng)不同来分： 线性
线性模型摄像机标定, 用线性方程求解，简单快速，已成为计 算机视觉领域的研究热点之一，目前已有大量研究成果。但 线性模型不考虑镜头畸变，准确性欠佳；
坐标系两种：
a) 图像物理坐标系：其原点为透镜光轴与成像
平面的交点，X 与Y 轴分别平行于摄像机坐标
系的x与y 轴，是平面直角坐标系，单位为毫
米。
b) 图像像素坐标系[计算机图像（帧存）坐标
系]：固定在图像上的以像素为单位的平面
图1 摄像机标定(biāo dìnɡ)中常用坐标系
图1 表示了三个不同层次的坐标系统：
下，利用若干个已知的物点和相应的像点坐标，就可以求解出摄像机的内