【精品】PPT课件 摄像机自标定
摄像机标定
1 图像采集系统的标定根据机器视觉系统采集的图像数据来测量焊膏的三维信息，必须准确建立所采集的图像数据和实际物体对象间的成像模型。
同时，图像采集系统不可避免地存在几何畸变。
所以校正几何畸变，并得到检测对象的世界坐标就是图像采集系统标定的工作[5]。
标定中首先要确定图像采集系统的全部参数，包括系统内部的几何和光学特性，即内参数，以及摄像机坐标系相对于空间坐标系的位置关系，即外参数。
确定参数后，根据采集的图像进行校正，并计算得到测量对象的世界坐标。
1.1 图像采集系统成像模型和模型参数图1、图像采集系统的成像模型机器视觉中图像采集中用到四个坐标系：图像坐标系ICS (),r c 、成像平面坐标系IPCS ()','u v 、摄像机坐标系CCS (),,c c c x y z 和世界坐标系WCS (),,w w w x y z [6]。
机器视觉采集得到的图像数据是直接用图像坐标系表示的，即图像上的像素行和列位置(),r c 。
而被测物体对象的客观位置、大小、相互关系必须通过世界坐标系(),,w w w x y z 才能正确描述。
这两个坐标系间的转换又要通过摄像机坐标系和成像平面坐标系。
世界坐标系与摄像机坐标系间的转换是一种平移加旋转的变换：111213212223313233c w w x c w w y c w w z x x r r r x t y R y T r r r y t z z r r r z t ⎡⎤⎡⎤⎡⎤⎡⎤⎡⎤⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥=+=+⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎣⎦⎣⎦⎣⎦⎣⎦⎣⎦ （3）其中R 是旋转矩阵，与这两个坐标系间沿三个轴的旋转角度有关，T 是平移矩阵。
三个旋转角度和三个平移分量共六个参数(),,,,,x y z t t t αβγ称为成像系统或图像采集系统的外参数。
图像像素坐标系ICS (),r c 和成像平面坐标系IPCS ()','u v 转化是一个离散化和平移的过程，ICS 以图像左上角为原点，以图像的行、列分别为r 轴和c 轴，以整数像素为坐标单位；IPCS 是以光轴与相机像平面的交点为原点，两根坐标轴分别平行于ICS 中的坐标轴，以物理尺寸为坐标单位。
(2024年)康耐视相机标定及设置ppt课件
通过与其他标定方法进行对比实验，分析康耐视相机标定的优势 和不足，为用户提供更全面的评估参考。
23
实际应用场景举例
2024/3/26
工业检测
在工业生产线上，利用康耐视相机进行产品检测和质量控 制。通过精确的相机标定，可以提高检测的准确性和稳定 性。
机器人视觉导航
在机器人自主导航系统中，利用康耐视相机获取环境信息 。通过相机标定，可以提高机器人对环境感知的准确性和 鲁棒性。
算得到的相机内外参数进行优化，提高标定精度。
14
优化标定结果
1 2
重投影误差分析
将计算得到的相机内外参数应用于标定图像，计 算重投影误差并分析其分布情况，以评估标定结 果的准确性。
参数调整与优化
根据重投影误差分析结果，对相机内外参数进行 微调或重新优化，以进一步提高标定精度。
结果验证与保存
3
将优化后的相机内外参数应用于实际拍摄的图像 中，验证其准确性和稳定性，并将结果保存以便 后续使用。
提取角点信息
使用图像处理算法提取标定图片 中的角点信息，为后续计算提供 数据。
计算相机参数
基于张氏标定法和非线性优化方 法，计算相机的内外参数及畸变 系数。
准备标定板
制作高精度棋盘格标定板，格子 大小和数量需满足标定要求。
2024/3/26
验证标定结果
使用标定得到的参数对另一组标 定图片进行处理，观察处理结果 是否符合预期，以验证标定结果 的准确性。
标定板类型
根据标定需求选择合适的标定板 类型，如棋盘格标定板、圆点标 定板等。
标定板尺寸
根据相机视场和标定需求选择合 适的标定板尺寸，确保标定板在 相机视野内清晰可见。
2024/3/26
第四讲 摄像机标定1
2. 摄像机成像模型
图像形成的简单模型
来自于光源(如太阳)的光入射到物体表面并被表面反射。反射光 进入人眼，最终导致了我们对颜色的感知
摄像机成像模型
在计算机视觉中，利用所拍摄的图像来计算出三维空间中被 测物体几何参数。图像是空间物体通过成像系统在像平面上 的反映，即空间物体在像平面上的投影。 图像上每一个像素点的灰度反映了空间物体表面某点的反射 光的强度，而该点在图像上的位置则与空间物体表面对应点 的几何位置有关。这些位置的相互关系，由摄像机成像系统 的几何投影模型所决定。 计算机视觉研究中，三维空间中的物体到像平面的投影关系 即为成像模型，理想的投影成像模型是光学中的中心投影， 也称为针孔模型。
u u0 X / d x sx X v v0 Y / d y s yY
因此可得物点p与图像像素坐 标系中像点pf的变换关系为：
其中，u 0 ，v 0 是图像中心（光轴与图像 平面的交点）坐标，dx ，dy分别为一个 像素在X与Y方向上的物理尺寸，sx=1/dx ， sy=1/dy 分别为X与Y方向上的采样频率， 其中，f x =fs x ，f y =fs y 分别定义为X和Y方 向的等效焦距。fx、fy、u0、v0这4个参数 即单位长度的像素个数。 只与摄像机内部结构有关，因此称为摄 像机的内部
u f x 0 z v 0 f y 1 0 0 u0 v0 1 0 R 0 T 0 0
转化为齐次坐标为：
xw T yw M 1M 2 X MX 1 z w 1
其中，T是世界坐标系原点 在摄像机坐标系中的坐标， 矩阵R是正交旋转矩阵．
t x xw t y yw t z zw 1 1
摄像机标定方法及原理
摄像机标定方法及原理摄像机内参数标定方法及原理：1.赋参法：a.使用透镜测量摄像机的焦距，根据透镜公式可求解出摄像机的内参数，如焦距、主点坐标等。
b.使用标准栅格或尺子等物体在距离摄像机一定位置处摆放，通过测量图像上物体的特征点的像素坐标和实际物体的尺寸，对内参数进行估计。
2.视差法：a.使用双目立体视觉系统，通过数学推导得到根据视差计算焦距和主点坐标的公式，从而标定摄像机的内参数。
b.具体操作时，将一张标定板放在双目系统的不同位置处，通过左右摄像机拍摄到的标定板图像，计算出两个图像的视差，进而估计出焦距和主点的坐标。
摄像机外参数标定方法及原理：1.立体视觉法：a.使用双目立体视觉系统，通过测量双目在空间中的位置关系，从而确定摄像机的外参数（即相对于参考坐标系的位置和姿态）。
b.一般情况下，通过观察物体在空间中的三维坐标和其在两个图像上的对应点的像素坐标，可以计算出外参数。
2.惯性传感器法：a.使用惯性传感器等设备，通过测量摄像机在三维空间中的加速度和角速度等信息，可以估计出摄像机的运动轨迹和姿态。
b.参考标定板等物体，在摄像机的运动过程中进行拍摄，根据拍摄到的图像和传感器测量的信息，计算出摄像机的外参数。
摄像机校正方法及原理：1.畸变校正法：a.摄像机的透镜会引入径向畸变和切向畸变，通过收集一组由标定板拍摄得到的图像，并对图像进行处理，去除畸变。
b.基于非线性最小二乘法，对摄像机内参数和畸变系数进行优化，得到校正后的摄像机参数。
2.摄像机自标定法：a.在摄像机运动过程中，摄像机捕捉到的图像中存在物体之间的三维关系，可以通过计算这些三维关系得到摄像机的内外参数。
b.根据三维重建的准确性和稳定性的要求，通过最小二乘法等算法，对摄像机内外参数进行优化。
摄像机标定的原理主要是通过数学模型和图像处理算法对摄像机的成像过程进行建模和估计。
通过收集一系列由标定板或其他具有已知形状和尺寸的物体拍摄得到的图像，分析图像上的特征点和相应的三维物体的几何关系，可以获得摄像机的内外参数。
《摄像机标定》PPT课件
径向一致约束
理想透视投影成像坐标 p( X u ,Yu )
真实透视投影成像坐标 p( X d ,Yd )
摄像机中坐标 p(x, y, z)
在图像平面上，点 p( X d ,Yd )， p( Xu ,Yu ) 共线，与
直线 op 平行或斜率相等.
22
像机模型
xw
zw
yw
O
x
u
v o'
oc
y
世界坐标系和摄像机坐标系的关系
垂直的单位向量
R3 r13 , r23 , r33
R2 r12 , r22 , r32
由 cos2 1 cos2 2 cos2 3 1
19
3.2、R. Tsai 的 RAC的定标算法
80年代中期Tsai提出的基于RAC的定标方法是计算 机视觉像机定标方面的一项重要工作，该方法的核 心是利用径向一致约束来求解除 （像机光轴方向的 平移）外的其它像机外参数，然后再求解像机的其 它参数。基于RAC方法的最大好处是它所使用的大部 分方程是线性方程，从而降低了参数求解的复杂性 ，因此其定标过程快捷，准确。
当已知 N个空间点和对应的图像上的点时，可以得到一个含 有2* 个N方程的方程组：
AL 0
其中 A为 2N的*矩12阵 ， 为透视L 投影矩阵元素组成的
向量 p11, p12 , p13 , p14 , p21, p。22 , p23 , p24 , p31, p32 , p33 , p34 T
摄像机标定
1、引言：什么是摄像机标定 2、摄像机标定方法的分类 3、传统摄像机标定方法
1
1、引言
摄像机标定的目的：三维重建
三维重建：摄像机标定的主要目的，也是计算机视觉的最 主要的研究方向. (Marr 1982)，所谓三维重建就是指从图象 出发恢复出空间点三维坐标的过程。
7.摄像机标定
T
1
T
1
由于摄像机有5个未知内参数，所以当所摄取得的图像数 目大于等于3时，就可以线性唯一求解出 K
2019/3/20 27 CV:Calibration
张正友方法
张正友方法所用的平面模板
2019/3/20 28 CV:Calibration
张正友方法
标定步骤: (1)制定一张平板棋盘格模板； (2)移动平面或摄像机，从不同角度拍摄若 干张(大于或等于3张)模板图像； (3)检测出每幅图像中的特征点; (4)求出每一幅图像的单应矩阵H； (5)在令畸变系数为0的前提下，利用求出 的矩阵H计算出摄像机的内参数； (6)利用反投影法进一步优化求精，同时计 算出各项畸变系数。
p11 X w p12Yw p13 Z w p14 p 31uX w p 32 uYw p 33uZ w p 34u 0 p 21 X w p 22Yw p 23 Z w p14 p 31uX w p 32uYw p 33uZ w p 34 u 0
的平面上
~ T M [ X Y 1 ] • 其中， K 为摄像机的内参数矩阵， T ~
m [u v 1] 为模板平面上点的齐次坐标， 为模 板平面上点投影到图像平面上对应点的齐次坐标，[ r1 r2 r3 ] 和 t 分别是摄像机坐标系相对于世界坐标系的旋转矩阵和 平移向量
2019/3/20 26 CV:Calibration
其中 u , v,1 为图像坐标系下的点的齐次坐标， X w , Yw , Z w 为世界坐标系下的空间点的欧氏坐标， P 为 3 4 的透视投 s 为未知尺度因子。 影矩阵，
2019/3/20 11 CV:Calibration
11--摄像机-标定教学课件
标定过程
3、标定板上的标识通常做成圆或方格形状。圆形结 构形状可以准确的提取中心坐标，而方格形状也可 以准确提取角点位置坐标。采用标定板还有一个好 处是可以方便的确定标定板上的标识在图像中的对 应关系。下图是halcon中使用的标定板示意图。
22/
halcon中使用的标定板
标定过程
4、设标定板上的标识在世界坐标系下的坐标为 M i， 在对应图像上提取的坐标为 mi 。如果给定摄像机外 参和内参的初始值，则可以通过世界坐标与图像坐 标之间的投影变换关系，求解 M i 对应在图像上的坐 标。设L 表示世界坐标与图像坐标之间的投影变换 关系，相机的参数用向量表示，即 c (f ,k,sx ,sy ,u0,v0) 则标定过程为下式所示的优化过程。
就决定了摄像机相对于世界坐标系的位置，因此， 这六个参数就是摄像机的外参。
6、成像平面坐标系与摄像机坐标系之间的关系可以 用相似三角形成比例得出
xyf xc Yc Zc 因此有： x fYc / Z c
y fYc / Zc
采用矩阵表示如下：
Zc
x
y
1
f
0
0
0 f 0
0 0 1
0 0 0
nk
d(c)
(mi,j L(M i ,c))2 min
j 1 i
26/
标定过程
8、halcon的标定过程,可以利用halcon提供的标定助 手，快速完成摄像机的标定过程。
导入标定板信息文件
导入拍摄的标定板图像
27/
标定过程
8、halcon的标定过程,可以利用halcon提供的标定助 手，快速完成摄像机的标定过程。
以上即为世界坐标系到图像坐标系之间的转换
摄像机标定
如果有 n 个已知点，已知其场景坐标和像点坐 标，就有 2n 个关于M 矩阵的线性方程：
CV CV
计 算 机 视 觉
第一节、直接线性模型
四、定标解算——定标未知数解算
⎡ m11 ⎤ ⎡ u1 ⎤ ⎢m ⎥ ⎢ v ⎥ ⎢ 12 ⎥ ⎢ 1 ⎥ ⎢ m13 ⎥ ⎢ ⎥ − u1Z w1 ⎤ ⎢ ⎥ ⎢ ⎥ m − v1Z w1 ⎥ ⎢ 14 ⎥ ⎢ ⎥ ⎥ ⎢m ⎥ ⎢ ⎥ ⎥ ⎢ 21 ⎥ ⎢ ⎥ ⎥ ⋅ ⎢m22 ⎥ = ⎢ ⎥ ⎥ ⎢m ⎥ ⎢ ⎥ − un Z wn ⎥ ⎢ 23 ⎥ ⎢ ⎥ ⎥ ⎢m24 ⎥ ⎢ ⎥ − vn Z wn ⎥ ⎢ ⎥ ⎢ ⎥ ⎦ m ⎢ 31 ⎥ ⎢ ⎥ ⎢ m32 ⎥ ⎢un ⎥ ⎢ ⎥ ⎢ ⎥ ⎣ m33 ⎦ ⎣ vn ⎦
已知成像参数和场景坐标： 可计算像点坐标！ 已知成像参数和像点坐标： 可计算场景坐标！ 怎样计算？ 已知场景坐标和像点坐标： 可计算成像参数！ 怎样计算？
CV CV
计 算 机 视 觉
第一节、直接线性模型
四、定标解算——定标解算的未知数
m11 X W + m12YW ⎧ ⎪u = m X + m Y ⎪ 31 W 32 W ⎨ ⎪v = m21 X W + m22YW ⎪ m31 X W + m32YW ⎩ + m13 ZW + m14 + m33 ZW + m34 + m23 ZW + m24 + m33 Z W + m34
一、共线方程
Xm Ym Zm = = =k X − X S Y − YS Z − Z S
X m = k ( X − X S ), Ym = k (Y − YS ), Z m = k ( Z − Z S )
摄像机标定原理
假如已知三维世界坐标和相应旳图像坐标，将变换矩 阵看做未知数，则共有12个未知数。对于每一种物体 点，都有如上旳两个方程，所以，取6个物体点就能 够求得变换矩阵M旳系数。
► 三个层次旳坐标系统
（1）世界坐标系（Xw，Yw，Zw）：也称真实或现实 世界坐标系，或全局坐标系。它是客观世界旳绝对 坐标，由顾客任意定义旳三维空间坐标系。一般旳 3Ｄ场景都用这个坐标系来表达。
（2）摄像机坐标系(xoy)：以小孔摄像机模型旳聚焦 中心为原点，以摄像机光轴为oz 轴建立旳三维直角 坐标系。x，y 一般与图像物理坐标系旳Ｘ，Ｙ 平 行。
o
x
y
Of
Xf
O
X
L1
P(X,Y)
Pf (u,v)
Y Yf
L2 p(x,y,z)
Zw
z
(xw,yw,zw) Xw Yw
图1 摄像机标定中常用坐标系
➢计算机视觉常用坐标系采用右手准则来定 义，图1 表达了三个不同层次旳坐标系统：
1.世界坐标系 2.摄像机坐标系
3.图像坐标系（图像像素坐标系和图像物理 坐标系）。
u u0 fsx x / z fxx / z v v0 fsy y / z fy y / z
(6)
►其中，fx=fsx，fy=fsy分别定义为X和Y方向旳等
效焦距。fx、fy、u0、v0这4个参数只与摄像机 内部构造有关，所以称为摄像机旳内部参数。
►世界坐标系与图像坐标系变换关系：
X
u0 v0 1
E-第五章_摄像机标定
第五章 摄像机标定
52
第五章 摄像机标定
53
第五章 摄像机标定
54
第五章 摄像机标定
55
第五章 摄像机标定
56
第五章 摄像机标定
57
第五章 摄像机标定
58
第五章 摄像机标定
59
第五章 摄像机标定
60
第五章 摄像机标定
61
第五章 摄像机标定
62
第五章 摄像机标定
63
第五章 摄像机标定
90
第五章 摄像机标定
91
39
第五章 摄像机标定
40
第五章 摄像机标定
41
第五章 摄像机标定
42
第五章 摄像机标定
43
第五章 摄像机标定
44
第五章 摄像机标定
45
么么么么方面
• Sds绝对是假的
第五章 摄像机标定
47
第五章 摄像机标定
48
第五章 摄像机标定
49
第五章 摄像机标定
50
第五章 摄像机标定
51
64
第五章 摄像机标定
65
第五章 摄像机标定
66
第五章 摄像机标定
67
第五章 摄像机标定
68
第五章 摄像机标定
69
第五章 摄像机标定
70
第五章 摄像机标定
71
第五章 摄像机标定
72
第五章 摄像机标定
73
第五章 摄像机标定
74
第五章 摄像机标定
75
第五章 摄像机标定
76
第五章 摄像机标定
第五章 摄像机标定
迟健男 北京科技大学信息工程学院