张正友相机二维标定
张正友标定算法原理详解
张正友标定算法原理详解
张正友标定算法是一种多摄像机标定的有效方法，它使用了一个具有内部参考点的3D物体来检测至少6个相互独立的2D-3D配准，从而确定每个摄像机之间的关系。
该算法的优点在于它能够利用棋盘格子上的多个点，从而使得标定更加可靠。
张正友标定算法主要分为三步：
(1)首先获取所有摄像机的内参和外参，这些参数表示每个摄像机的视角和位置，包括焦距、畸变参数和旋转参数等信息。
(2)计算每个摄像机的平面坐标系，这些平面坐标系将求解的不同摄像机之间的关系。
(3)把实际的物体点映射到每个摄像机的平面坐标系中，并计算所有摄像机之间的关系。
最后，张正友标定算法可以得出每个摄像机的位置和姿态，从而实现多摄像机视角的标定。
张正友标定法
小组成员：张文豪 张智宇 陈宇
一、张正友标定法简介
目 二、张正友标定法数学原理 录 三、张正友标定法程序实现
四、标定实验及结果
张正友标定法 简介
像机标定：
建立摄像机图像像素位置与场景点位置 之间的关系，其途径是根据摄像机模型， 由已知特征点的图像坐标求解摄像机的 模型参数。
➢ 张正友标定法是张正友教授于1998年 在名为“A Flexible New Technique for Camera Calibration”一文中提 出的单平面棋盘格的摄像机标定方法。
➢ 透视投影
像平面 光心
f z
x=RX +
r01 r11
r02 r12
X Y
Tx Ty
z r20 r21 r22 Z Tz
[R,T]矩阵被称为外参数
光轴
K=
x f
y
0
1 0
K1K2
0 0 xc
f
0
yc
0 1 zc
u 1/ dx
v
B
K
T
K
1
B21
B22
B23
B31 B32 B33
b [B11, B12 , B22 , B13, B23, B33 ]
化简 hiT Bhj VijTb 得：
Vij [hi1hj1, hi1hj2 hi2hj1, hi2hj2 , hi3hj1 hi1hj3 , hi3hj2 hi2hj3 , hi3hj3 ]T
0
1 0
0 1/ dy
0
u0 x
v0
y
1 1
K矩阵被称为内参数
K1 K2
➢ 单应性映射
张正友相机标定算法
间的关系可以表示如下：
~ k m K[R
~ t] M
fu , K 0
s fv
0 0
uo
vo
（1）
1
针孔相机成像模型
其中，k是任何非零尺度因子，[ R t]表示摄相
机外参数，其中R是3 3的旋转矩阵，t表示从世
界坐标系到相机坐标系的平移向量，K表示摄像 机内参矩阵，其中 (uo, vo) 是主点坐标，fu和 fv分 别表示x轴和y轴方向的尺度因子，s表示关于两 个坐标系的畸变。
张正友相机标定算法
张正友标定算法
于福翔
针孔相机成像模型
摄像机的基本成像模型是针孔模型。它的成像基础是中心投影。三
维空间中的一点 M (X ,Y, Z)T在图像上的投影点
M 点的连线与图像平面的交点。M~ (X ,Y, Z,t)T 和
m~m(x(,xy, ,yt))TT为分光别心表与示
点 M 和 m 的齐次坐标 。在齐次坐标下，三维点 M 和它的投影点m
张算法的内参限制
我们把单应性矩阵H写成3 3 的3个列向量形式，则H也
可写成：
[h1 h2 h3] K[r1 r2
有：r1 K 1 h1
，
r2
K
1
h2
是一个放缩标量因子，也即k的倒数。
由r1和r2标准正交得：
正交： h1T KT K1h2 0
t] （3）
（4）
单位向量： h1T KT K1h1 h2T KT K1h2 （5）
张正友标定算法
我们将（1）式再简化下：
~
~
k m H M 和 H K[r1 r2 t] （2）
张的算法选取的是平面标定，所以令Z=0，所以R只有r1 和r2即可。H就是单应性矩阵。这里描述的是空间三维点 与相机二维点的之间的关系。因为相机平面中的坐标可 以通过图形处理的方式获取，而空间中点的坐标可以通 过事先做好的棋盘获取。所以每张图片可以计算出一个 单应性举证H。
摄像机标定张正友教材
~ ~ sm HM
上式中包含XY 两个方程；H为3乘3矩阵，包 含一个齐次坐标与8个未知数，要求出H，至 少需要8个方程，也就是说，一幅图片至少需 要已知的4个点才能求出H。
求解内置参数矩阵A
r1 r2 1
1
A 1h1 A 1h2
T T 1 h1 A A h2 0
T T 1 T T 1 h1 A A h1 h2 A A h2
精度高，过程复杂，需要高精度已知信息。 2.主动视觉摄像机标定方法 已知摄像机的某些运动信息。可线性求解，鲁棒性高， 但大多数场合不能得到摄像机运动信息。 3.摄像机自标定方法 靠多幅图像之间的关系进行标定，灵活性强，非线性 标定， 鲁棒性不高。
2 成像变换与摄像机模型、参数
• 图像数字化
O1在 u , v 中的坐标为 u 0 , v0 象素在轴上的物理尺寸为 dx, dy
基于三个非共线点在特殊运动下的摄像机标定
• 我们知道至少三点可以确定一个平面，而张正友的标定方 法正是基于两个平面的匹配，所以三个非共线点的标定方 法理论是可行的。 该方法步骤： • 1 旋转3个非共线点 • 2 得到中心点O与o坐标 • 3 根据约束条件建立方程 • 4 求解内参矩阵K • 5 求解外参[R，t] 图像的成像模式：
(v11 v22 )T b 0
T
vij b
T
h A A h2 0
T T 1 h1T AT A1h1 h2 A A h2
v12T b 0 (v11 v 22)T
Vb 0
• Ｂ矩阵的解出，相机内参矩阵A也就求解出，从而每张图像的 R，t也迎刃而解
6.通过求最小参数值，优化所有的参数
相机标定实验报告
相机标定一、实验原理相机标定就是求解相机的内参数以及畸变参数的过程。
相机的标定主要有两种：传统的摄像头标定方法和摄像头自标定方法，典型的有：（1）Tsai（传统的标定方法）；（2）张正友（介于传统和自标定之间）。
1999年，微软研究院的张正友提出了基于移动平面模板的相机标定方法。
此方法是介于传统标定方法和自标定方法之间的一种方法，传统标定方法虽然精度高设备有较高的要求，其操作过程也比较繁琐，自标定方法的精度不高，张正友标定算法克服了这两者的缺点同时又兼备二者的优点，因此对办公、家庭的场合使用的桌面视觉系统(DVS)很适合。
张正友标定方法由于简单、效果好而得到广泛使用。
张正友标定法的标定步骤：1、打印一张模板并贴在一个平面上；2、从不同角度拍摄若干张模板图像；3、检测出图像中的特征点；4、求出摄像机的外参数（单应性矩阵）和内参数（最大似然估计）；5、求出畸变系数；6、优化求精。
张正友标定方法的主要思想是：1、相机内参矩阵其中，q 的坐标系是默认的OpenCV 的像素坐标系，Q 的坐标系是标定板坐标系，Z 轴为0，原点在标定板的某个内角点上（标定板上角点的坐标均为[*,*,0]的形式），在OpenCV 3.0中使用的是（[i ∗Squres_Size ，j ∗Square_Size ，0]的形式）。
其中fx 和fy 表示相机x 轴和y 轴的焦距，s 表示成像平面x 轴和y 轴的不正交性。
2、基础公式对于不同位置的棋盘格到相机的成像，可以使用下面的公式进行表示：其中，[R|t]表示棋盘格坐标系相对于相机坐标系的位姿。
把矩阵R 和M ~写开，如下式所示：进行化简得：其中[u v 1]是已知量，[X Y 1]也是已知量，A 和[r1 r2 t]是未知量。
其中H=A[r1 r2 t]又叫做单应性矩阵，可以使用下面的3中所述的方法求解。
3、单应矩阵求解这里使用的方法基于最大似然准则：假设提取的m 存在均值为0，噪声协方差矩阵为的高斯白噪声。
SLAM入门之视觉里程计（6）：相机标定张正友经典标定法详解
SLAM ⼊门之视觉⾥程计（6）：相机标定张正友经典标定法详解想要从⼆维图像中获取到场景的三维信息，相机的内参数是必须的，在SLAM 中，相机通常是提前标定好的。
张正友于1998年在论⽂："A Flexible New Technique fro Camera Calibration"提出了基于单平⾯棋盘格的相机标定⽅法。
该⽅法介于传统的标定⽅法和⾃标定⽅法之间，使⽤简单实⽤性强，有以下优点：不需要额外的器材，⼀张打印的棋盘格即可。
标定简单，相机和标定板可以任意放置。
标定的精度⾼。
相机的内参数设P =(X ,Y ,Z )为场景中的⼀点，在针孔相机模型中，其要经过以下⼏个变换，最终变为⼆维图像上的像点p =(µ,ν):1. 将P 从世界坐标系通过刚体变换(旋转和平移)变换到相机坐标系，这个变换过程使⽤的是相机间的相对位姿，也就是相机的外参数。
2. 从相机坐标系，通过透视投影变换到相机的成像平⾯上的像点p =(x ,y )。
3. 将像点p 从成像坐标系，通过缩放和平移变换到像素坐标系上点p =(µ,ν)。
相机将场景中的三维点变换为图像中的⼆维点，也就是各个坐标系变换的组合，可将上⾯的变换过程整理为矩阵相乘的形式：s µν1=α0c x 0βc y1f 0000f 0001R t 0T1X Y Z1=f x 0c x 00f yc y 001Rt 0T1X Y Z1将矩阵K 称为相机的内参数,K =f x0c x 0f yc y 001其中，α,β表⽰图像上单位距离上像素的个数，则f x =αf ,f y =βf 将相机的焦距f 变换为在x,y ⽅向上像素度量表⽰。
另外，为了不失⼀般性，可以在相机的内参矩阵上添加⼀个扭曲参数γ，该参数⽤来表⽰像素坐标系两个坐标轴的扭曲。
则内参数K 变为K =f xγc x 0f yc y 01对于⼤多数标准相机来说，可将扭曲参数γ设为0. Multiple View Geometry in Computer Vision张⽒标定法在上⼀篇博⽂，介绍的单应矩阵表⽰两个平⾯间的映射。
张正友标定法
K2
f
z
K矩阵被称为内参数
单应性映射
X u X Y K [ r r r t ] K [ r r t ]Y s v 1 2 3 1 2 0 1 1 1
单应性(homography)： 在计算机视觉中被定义 为一个平面到另一个平面的 投影映射。
Harris角点检测
提取角点坐标
角点坐标检测算法的改进
I. II.
手动框选标定板的四个顶点； 在四边形内根据纵向和横向的方格 个数进行一次均匀分割，解算出初 始角点坐标；
III. 以初始角点为中心，框选出矩形区 域，再在矩形区域内进行Harris角 点检测。
标定实验及结果
标定实验
由于需要拍摄3张以上图像，如果在手机镜头上滴水， 水滴的滑动将影响摄像系统的内参，因此采用在手机 镜头前加一单透镜并保持两者相对位置不变，只改变 标定板的位置进行标定实验。
内外参数求解 令：
B11 B K T K 1 B21 B31 B12 B22 B32 B13 B23 B33
b [B11, B12 , B22 , B13 , B23 , B33 ]
化简
hiT Bhj VijT b
得：
Vij [hi1hj1, hi1hj 2 hi 2hj1, hi 2hj 2 , hi3hj1 hi1hj 3 , hi 3hj 2 hi 2hj 3 , hi 3hj 3 ]T
刚体变换
x=R X +T
x r00 y r 10 z r20 r01 r11 r21 r02 X Tx Y T r12 y r22 Z Tz
双目摄像机标定
1.摄像机标定技术的发展和研究现状计算机视觉的研究目标是使计算机能通过二维图像认知三维环境，并从中获取需要的信息用于重建和识别物体。
真实的3D场景与摄像机所拍摄的2D图像之间有一种映射关系，这种关系是由摄像机的几何模型或者参数决定的。
求解这些参数的过程就称为摄像机标定。
摄像机标定实质上是确定摄像机内外参数的一个过程，其中内部参数的标定是指确定摄像机固有的、与位置参数无关的内部几何与光学参数，包括图像中心坐标、焦距、比例因子和镜头畸变等；而外部参数的标定是指确定摄像机坐标系相对于某一世界坐标系的三维位置和方向关系。
总的来说, 摄像机标定可以分为两个大类: 传统的摄像机标定方法和摄像机自标定法。
传统摄像机标定的基本方法是, 在一定的摄像机模型下, 基于特定的实验条件如形状、尺寸已知的参照物, 经过对其进行图像处理, 利用一系列数学变换和计算方法, 求取摄像机模型内部参数和外部参数。
另外, 由于许多情况下存在经常性调整摄像机的需求, 而且设置已知的参照物也不现实, 这时就需要一种不依赖参照物的所谓摄像机自标定方法。
这种摄像机自标定法是利用了摄像机本身参数之间的约束关系来标定的, 与场景和摄像机的运动无关, 所以相比较下更为灵活。
1966年，B. Hallert研究了相机标定和镜头畸变两个方面的内容，并首次使用了最小二乘方法，得到了精度很高的测量结果。
1975年，学者W. Faig建立的一种较为复杂的相机成像模型，并应用非线性优化算法对其进行精确求解，但是仍存在两个缺点，一是由于加入了优化算法导致速度变慢，二是标定精度对相机模型参数的初始值的选择有严重的依赖性，这两个缺点就导致了该标定方法不适于实时标定。
1986年Faugeras提出基于三维立方体标定物通过拍摄其单幅图像的标定方法，该方法是基于理想线性模型的，标定精度较高，但是对标定立方体的制作和加工的精度要求太高，维护起来困难且并未考虑畸变参数的影响。
张正友标定法
内外参数求解 令：
B11 B K T K 1 B21 B31 B12 B22 B32 B13 B23 B33
b [B11, B12 , B22 , B13 , B23 , B33 ]
化简
hiT Bhj VijT b
得：
Vij [hi1hj1, hi1hj 2 hi 2hj1, hi 2hj 2 , hi3hj1 hi1hj 3 , hi 3hj 2 hi 2hj 3 , hi 3hj 3 ]T
内参解算
畸变矫正
刚体变换
x=R X +T
x r00 y r 10 z r20 r01 r11 r21 r02 X Tx Y T r12 y r22 Z Tz
[R,T]矩阵被称为外参数
V12 (V V )T b 0 11 22
由于摄像机有5个未知内参数，所 以当所摄取得的图象数目大于等 于3时，就可以线性唯一求解出K。
内参数
v0 ( B12 B13 B11 B23 ) / ( B11 B12 B12 2 ) 2 B33 [ B13 v0 ( B12 B13 B11 B23 )] / B11 / B 11 2 ) B11 / ( B11 B12 B12 2 B / 12 2 u0 v0 / B13 /
张正友标定法
小组成员：张文豪 张智宇 陈宇
一、张正友标定法简介
目 录
二、张正友标定法数学原理 三、张正友标定法程序实现
四、标定实验及结果
张正友标定法 简介
像机标定：
建立摄像机图像像素位置与场景点位置 之间的关系，其途径是根据摄像机模型， 由已知特征点的图像坐标求解摄像机的 模型参数。
210984848_顾及物方坐标误差的张正友标定算法
文章编号:1006 2610(2022)06 0079 06顾及物方坐标误差的张正友标定算法瞿 锴1,郭中佑2,唐育林2,陈抒录3,陈朋明2(1.中机国际工程设计研究院有限责任公司,长沙 410021;2.湘潭大学土木工程学院,湖南湘潭 411100;3.湘潭市勘测设计院,湖南湘潭 411100)摘 要:针对传统张正友相机标定算法未顾及系数矩阵偶然误差的问题,引入以变量误差模型为基础的整体最小二乘平差方法以提高其解算结果精度,同时开发相机参数计算软件以提高解算效率㊂先以尼康D800为例,使用控制变量法分析相片数量和拍摄角度对参数解算精度的影响,确定相片数量和拍摄方式后,将改进前后的张正友标定算法在尼康D800和索尼ILCE-7R 两种常用非量测型相机上开展实验㊂结果表明:随着相片数量的增加,解算精度不会一直提高,而是逐渐趋于平稳;不同角度拍摄的相片参与解算比单一角度的精度更高;与传统算法相比,采用整体最小二乘得到的参数精度更好㊂可为相关生产单位的相机检校工作提供有用的价值参考㊂关键词:相机检校;张正友标定算法;整体最小二乘;单应性矩阵中图分类号:P237 文献标识码:A DOI :10.3969/j.issn.1006-2610.2022.06.013Zhang Zhengyou 's Calibration Algorithm with consideration of Object -squared Coordinate ErrorsQU Kai 1,GUO Zhongyou 2,TANG Yulin 2,CHEN Shulu 3,CHEN Pengming 2(1.China Machinery International Engineering Design &Research Institute Co.,Ltd ,Changsha 410021,China ;2.School of Civil Engineering and Mechanics ,Xiangtan University ,Xiangtan 411100,China ;3.Xiangtan Institute of Surveying Designing ,Xiangtan 411100,China )Abstract :Aiming at the problem that the traditional Zhang Zhengyou camera calibration algorithm does not take into account the accidental error of thecoefficient matrix ,the overall least squares leveling method based on the variable error model is introduced to improve the accuracy of the solution re⁃sults ,and the camera parameter calculation software is developed to improve the solution efficiency.Taking the Nikon D800as an example ,the influ⁃ence of the number of photos and shooting angle on the parameter solving accuracy is analyzed by using the control variable method ,and after determi⁃ning the number of photos and shooting method ,the Zhang Zhengyou calibration algorithm before and after the improvement is applied on the Nikon D800and Sony ILCE-7R ,two commonly used non-measurement cameras.The results show that with the increase of the number of photos ,the solution accuracy does not continuously increase ,but gradually level off.Photos taken from different angles participate in the solution with higher accuracy than those taken from a single angle ;Compared with the traditional algorithm ,the parameter accuracy obtained by using the overall least squares is better.The study results can provide a useful value reference for the camera calibration work of the relevant production units.Key words :camera correction ;Zhang Zhengyou calibration algorithm ;overall least squares ;homography matrix 收稿日期:2022-07-14 作者简介:瞿锴(1996-),男,湖南省常德市人,助理工程师,主要从事工程测绘工作. 基金项目:湖南省自然科学基金项目(14JJ7039).0 前 言近年来,无人机摄影测量技术得到了迅猛发展,在生产实践中广泛应用于农业㊁林业㊁海洋等领域[1]㊂在无人机摄影测量中普遍采用非量测型数码相机,但其存在着相机光学畸变大的缺点,故需要对相机成像参数予以检校㊂相机检校是通过对已知坐标或相对位置关系明确的物体进行拍照,利用物体相片量测坐标与已知坐标之间的对应关系来求取相机成像参数㊂为保证参数解算的可靠性,通常需要进行大量的多余观测,这些数据被认为服从高斯-马尔可夫模型(Gauss -Markov Theory),可构建众多的观测数据方程,在最小二乘准则约束下求解方程获得参数的最优估值㊂相机检校常用的Tsai 算法㊁张正友标定算法㊁灭点法和直接线性变换(Direct Line transform,DLT)算法在计算相机参数时都采用了G-M 模型[2]㊂但G-M 模型只考虑了观测向量包含误差,则将导致应用传统最小二乘准则估计的参数不是最优解㊂97西北水电㊃2022年㊃第6期===============================================考虑到G-M模型的缺点,整体最小二乘准则被提出并逐渐应用到上所述相机检校工作中所列方程求解的约束条件[3]㊂如陶叶青[4]㊁杨会军[5]㊁孔建[6]㊁鲁铁定[7]和孙培芪等[8]将整体最小二乘应用到解决方案中去,实验结果表明,整体最小二乘在拟合函数㊁转换参数的求解问题中更加具备优势㊂其次是检校场类型对相机检校起着很重要的作用,倪静㊁曹良忠等[9-10]研究了相对条件较为苛刻的野外检校场㊁田雷等[11]应用了室内检校场检校㊁李平[12]简化了三维空间检校场,应用二维检校场进行相机检校中比较出名的是张正友检校法[13],这种方法只需要一个规则的格网状平板,通过移动相机从不同位置对其拍照,即可计算出内外方位元素㊂考虑到野外检校场和室内三维检校场建立与维护的不易,而无人机摄影测量相机又需要频繁检校,本文采用自制的格网型模板,先以尼康D800为例,利用控制变量法分析相片数量和拍摄角度对参数解算精度的影响,确定相片数量和拍摄方式后,使用Nikon D800相机与索尼ILCE-7R相机拍摄模板获取数据㊂接着,考虑到整体最小二乘算法较最小二乘算法的模型更为完善,顾及到了模型中系数矩阵可能存在的误差,使用整体最小二乘算法对张正友检校算法予以改进,并通过试验进行验证,以提高非量测相机的检校精度,保证测绘生产获得较高质量的成果㊂1 研究方法自检校方法是Maybank[14]提出的一种与相机移动和空间几何信息无关的相机检校方法㊂这方面国内的工作有孟晓桥等[15]从多个方向拍摄模板图像,应用圆检校算法,利用射影的不变性,解算出了相机参数㊂从计算原理讲,张正友检校法也可以归于自检校方法㊂相机的自检校方法是指不需要依据一个已经建立好的检校场,是通过影像与影像之间的对应关系,计算出相机的参数㊂此种方法的优点是价格低廉,可以随时随地对相机进行检校;缺点则是精度会比较低㊂张正友相机标定算法是将打印的棋盘格贴在平面上,从不同角度进行拍摄,利用像点和物点的几何关系确定相机内外方位元素的初值,然后将其作为非线性相机几何模型的初值,求出单应性矩阵,以此解算出摄像机内外参数和畸变系数,模型如图1所示㊂图1 张正友算法模型1.1 单应性矩阵设世界坐标某点的物理坐标为M=[U,V,W, 1]T,其对应的像素坐标系下的像素坐标点为m= [u,v,1]T,故标定用的棋盘格平面到图像平面的单应性关系为:sm=A[R t]M,A=α γ u00 β v0éëêêêêùûúúúú0 0 1(1)其中:s为尺度因子;A为相机内参矩阵;包括仿射变换和透视投影;(u0,v0)为像主点坐标;α,β为焦距与像素横纵比的融合;γ为径向畸变参数;R为旋转矩阵;t为平移向量;[R t]也被成为相机的外参矩阵㊂设棋盘格平面W=0,可得:suvéëêêêùûúúú1=A[r1,r2,r3,t]UVéëêêêêêùûúúúúú1=A[r1,r2,t]UVéëêêêùûúúú1(2) A[r1,r2,t]为单应性矩阵,即内参矩阵和外参矩阵的积,记作H=[r1,r2,t],得:uvéëêêêùûúúú1=1sH11 H12 H13H21 H22 H23H31 H32 Héëêêêêùûúúúú33UVéëêêêùûúúú1(3) 所以每一格标定板的角点可以提供两个坐标约束方程:u=H11U+H12V+H13H31U+H32V+H33v=H21U+H22V+H23H31U+H32V+Hìîíïïïï33(4)08瞿锴,郭中佑,唐育林,陈抒录,陈朋明.顾及物方坐标误差的张正友标定算法=============================================== 上式对于同一张图片上所有的角点均成立,其中[u ,v ]是像素坐标系下标定板的角点坐标,[U ,V ]是世界坐标系下标定板的角点坐标㊂1.2 内参矩阵A 和外参矩阵的计算旋转矩阵R 存在单位正交的关系,即r T1r 2=0㊁r T 1r 2=r T 2r 2=1,令A -T A -1=B ,B 为对称阵,可得:H T1B H 2=0H T 1B H 1=H T 2B H 2{=1(5) 化简得:v T 11v T 11-v T éëêêùûúú22b =vb =0(6)公式(6)中:v 是仅包含H 元素的矩阵,b =[B 11,B 12,B 22,B 23,B 33]T ㊂由于矩阵H 已知,矩阵v 又全部由矩阵H 的元素构成,因此矩阵v 已知㊂每张标定板图片可以提供一个约束关系,采用最小二乘拟合最佳的向量b ,得到矩阵B ,所以有:v 0=B 12B 13-B 11B 23B 11B 22-B 212α=1B 11,β=B 11B 11B 22-B 212γ=-B 12α2β,u 0=γv 0β-B 13α2(7) 相机的内参矩阵A 取决于相机的内部参数,无论标定板和相机的位置关系怎么变换,相机的内参矩阵是不变的㊂而外参矩阵反映的是标定板和相机的位置关系,对于被拍摄的不同图片,标定板和相机的位置关系已经改变,此时每一张图片对应的外参矩阵都是不相等的㊂因为H =A [r 1,r 2,t ],求解得到H 和A 后,可通过式(8)得到外参矩阵㊂[r 1,r 2,t ]=A -1H(8)1.3 畸变系数k 的计算对于畸变系数k ,张氏标定法只关注了影响最大的径向畸变,数学表达式为[18]:(u -u 0)(x 2+y 2)(u -u 0)(x 2+y 2)2(v -v 0)(x 2+y 2)(v -v 0)(x 2+y 2)éëêêùûúú2k 1k éëêêùûúú2^u -u ^éëêêùûúúv -v (9)公式(9)中:(u ,v )是理想无畸变的像素坐标;(^u ,^v )是实际畸变后的像素坐标;(u 0,v 0)代表主点;(x ,y )是理想无畸变的连续图像坐标;(^x,^y )是实际畸变后的连续图像坐标;k 1和k 2为前两阶的畸变参数,记作Dk =d ,可得:k =[k 1,k 2]T =(D T D )-1D T d(10)1.4 整体最小二乘原理在实际工作中,系数矩阵中也会包含误差[7-8],故真误差的数学期望往往不为0㊂求解Ax =b 时,应该同时考虑C 和c 二者的误差和扰动,令B 矩阵的误差扰动为E ,向量b 的误差向量为e ,矩阵方程为:(C +E )x =c +e (11) 可得:c +e -(x T ×I )E -Cx =0(12)式中:x T ×I 表示两个矩阵做克罗内克积,令F =[i ,-(x T ×I )],v =[e ,E ]T ,可得:Fv +c -Cx =0(13) 整体最小二乘准则为:min φ=v T Pv -2λT (Fv +c -Cx )(14)式中:P 为权矩阵;λ为Largrange 乘数,分别进行偏导:əφəv =v T P -λT F =0əφəx =(C +I )Tλ=0əφəλ=Fv +c -Cx =ìîíïïïïïï0(15) 可得:x =[(C +I )T (FP -1F )-1C ]-1(C +I )T (FP -1F )-1c(16) 对公式(6)和公式(10)采用整体最小二乘计算,得到最优估计值㊂2 检校场与计算软件的设计2.1 室内二维检校场的实现这里选用尼康D800和索尼ILCE-7R 两种相机获取影像数据,拍摄时设置为手动曝光方式,物镜对焦于无穷远,相机传感器参数见表1㊂表1 尼康D800和索尼ILCE-7R 相机传感器参数相机参数类型传感器尺寸/mm 分辨率/像素像素大小/μm 焦距/mm 尼康D80035.9×247360×4912 4.8835索尼ILCE-7R35.9×244800×32004.8835计算机型号为联想Lenovo G50-7020351笔记本电脑,CPU 酷睿i5-4258U,内存DDR3L 1600MHz㊂实验选取棋盘格作为相机检校的模板,二维控制场采用基于纯平液晶显示器的检校方法[19],使18西北水电㊃2022年㊃第6期===============================================所有控制点在一个平面上㊂为研究拍摄角度对标定精度的影响,从不同角度进行拍摄,得到图像,棋盘格大小为9×5个方格,每个方格尺寸为45mm ×45mm(长×宽),角点数量为32个,部分影像如图2所示㊂图2 不同方向拍摄的棋盘格控制场2.2 相机检校软件的设计这里根据计算原理利用Visual Studio 平台和C #设计相机检校软件,主要分为如下几项功能:文件读取数据㊁最小二乘约束㊁整体最小二乘约束㊁畸变改正㊁查看报告和退出等功能㊂程序操作非常简便,首先点击可执行文件(.exe),启动相机检校程序,在相同目录下添加不同角度拍摄的棋盘格影像,可以为tif㊁jpg㊁bmp 等格式,使用对应算法自动提取棋盘格角点的坐标作为后续计算的数据,程序解算会自动将最小二乘约束与整体最小二乘约束解算所得到的参数值作为初始值使用,直接点击计算输出按钮可得到最终的相机参数报告,包括最小二乘约束下和整体最小二乘约束下的不同相机检校算法的相机参数㊂参数解算部分结果如图3所示㊂前面部分为相机的检校参数值,后面部分为各参数的解算误差㊂图3 相机检校软件3 实验结果与分析3.1 相片数量对检校的影响为探究相片数量对相机检校精度的影响,依次使用3㊁5㊁7㊁9㊁11不同数量的相片参与计算,结果如表2所示,参与解算相片数量的不同会导致检校参数的精度有所差异㊂相机参数包括:f (焦距),x 0㊁y 0(主点坐标)和k 1㊁k 2(畸变参数)㊂y 值在3张相片解算时最优,后面呈波动分布㊂f 值在9张相片解算时达到最优,11张相片为35.85445,相比而言,值下降了0.066㊂x 0㊁k 1和k 2的值随着参加解算相片的数量越多,精度越高,分别为3661.5㊁-0.0114和0.0403㊂3张相片进行解算时,f ㊁k 1和k 2与参考值相差最大,这是因为相片的数量太少导致不能够充分反应出镜头的畸变情况㊂随着后面参与解算的相片数量越来越多,值变化的越来越趋于平稳状态,说明相片并不是越多越好,但也不能太少,过少会使得结果精度不高,过多则会导致计算量的增加,从而导致效率降低㊂表2 尼康D800相片数量与检校参数计算结果 f /mmx 0/像素y 0/像素k 1k 23张相片5张相片7张相片9张相片11张相片参考值36.425743236.230751936.269847936.0533535.8544535.986923631.93631.03679.53642.93661.53654.0312474.42416.02455.52412.32403.22486.250-0.0440-0.0315-0.0247-0.0142-0.01146.72960E-050.14330.14290.10800.05060.0403-5.6425E-0528瞿锴,郭中佑,唐育林,陈抒录,陈朋明.顾及物方坐标误差的张正友标定算法===============================================3.2 拍摄角度对检校的影响为探究拍摄相片的角度对检校结果的影响,采用两种方式拍摄相片,先拍摄一组近似平行的照片计算检校参数,再以不同的角度拍摄相片计算检校参数,分析得到的检校结果,两组相片的检校结果如表3所示㊂当相机位置处于平行状态时,f和x0的精度较高,分别为35.96734和3654.2;相片处于不同的角度时,y0㊁k1和k2精度较高,依次为2404.7㊁-0.006㊁0.019㊂一般认为,近似平行的相片计算的检校参数精度会低于不同角度拍摄的照片计算的检校参数精度㊂因为张正友检校方法是通过不同相片之间的关系计算的,所以拍摄的相片近似平行的时候,有的参数之间会存在很强的相关性,就会影响最后的结果㊂在使用张正友标定法对相机进行检校时,应该以不同的角度对棋盘格进行拍摄,从而保证高精度的校验结果㊂y0㊁k1和k2的精度与预期表现相符,而f和x0的结果精度恰恰相反,可能与相片拍摄的质量有关㊂表3 尼康D800相机拍摄角度与检校参数计算结果 f/mm x0/像素y0/像素k1k2近似于平行处于不同角度参考值35.9673435.4957535.986923654.23624.73654.0312404.62404.72486.250-0.0282-0.00606.72960E-050.15710.0190-5.6425E-053.3 改进前后方法的对比由以上可知,相机拍摄相片时应尽量从不同方向进行拍摄,数量根据区域大小确定,本次使用11张不同方向拍摄的相片参与解算㊂为检验改进前后张正友方法在尼康D800和索尼ILCE-7R两种相机中的情况,分别使用两款相机随机在5个摄站对棋盘格进行拍摄,每张相片不重复,角点数量为45个,部分图片如图2所示㊂分别采用经典最小二乘算法与整体最小二乘算法求解单应性矩阵参数,进而解算相机参数,并将结果进行对比分析㊂表4为尼康D800和索尼ILCE-7R相机内定向参数计算结果,在尼康D800数据集上,LS和TLS法得到的焦距f 与参考值分别相差0.421mm㊁0.259mm;主点坐标(x0,y0)分别相差176.117像素㊁44.159像素;畸变参数k1/k2分别相差0.037/0.012㊁0.466/0.150;计算时间相差0.345㊂在索尼ILCE-7R数据集上,LS 和TLS法得到的焦距f与参考值分别相差0.435 mm㊁0.120mm;主点坐标(x0,y0)分别相差155.731像素㊁93.362像素;k1/k2分别相差0.1225/0.110㊁0.150/0.128;计算时间相差0.185㊂相比LS,TLS 计算得到的参数精度均得到了不同程度的提升,说明TLS确实能够较好的考虑观测值和系数存在的误差,解算出更为精确的结果㊂虽然相机参数精度均有提升,但增加了计算时间,这是必然的结果,因为计算量的增加,势必会导致计算效率的降低㊂总的来说,整体最小二乘方法相比传统的最小二乘方法在张正友标定算法相机参数解算中表现更优㊂表4尼康D800和索尼ILCE-7R相机内定向参数计算结果参数尼康D800LS法TLS法参考值索尼ILCE-7RLS法TLS法参考值f/mm36.4082035.7278835.9869235.7278836.0430936.1626 x0/像素3742.33612.23654.0313556.13612.13702.249 y0/像素2319.72472.12486.2502472.12442.62418.318 k1-0.0372-0.01236.72960E-050.12250.1099-3.99663E-05 k20.4657-0.1497-5.6425E-05-0.1497-0.12781.54691E-07计算时间/s0.3727460.717842 0.2951500.480264 4 结 论本文在传统张正友的算法上进行改进,考虑顾及物方控制点坐标误差,用整体最小二乘约束求解单应性矩阵,将其精度得到提高的结果参与后面相机参数的运算㊂为确定最佳解算相片数据,先以尼康D800为例,使用控制变量法探究拍摄角度和相片数量对解算结果的影像㊂然后采用改进前后的张正友标定算法在尼康D800和索尼ILCE-7R相机开展实验,结果表明:(1)解算参数x0㊁k1和k2的值随着参加解算相片的数量越多,精度越高,值逐渐趋于平稳,说明盲目增加相片数量不会一直提高解算精度,反而会增大计算量㊂(2)以不同角度拍摄的照片计算的检校参数y0㊁k1和k2精度高于近似平行的相片计算的检校参数精度,不同角度的相片能够更好提供约束条件,得到更优解㊂(3)在尼康D800和索尼ILCE-7R数据上,相比传统张正友算法,f(焦距)㊁x0㊁y0(主点坐标)和k1㊁k2(畸变参数)的解算精度均得到了提升,但计算量提升了一倍,这在预期之内㊂本次实验的某些相机参数精度与预期不相符,可能是因为相片质量没有做抗差估计,在进行解算时无法保证每张相片的质量统一,从而导致结果出现差异性㊂后面可以针对不同相机检校算法验证本38西北水电㊃2022年㊃第6期===============================================文所提方法的可行性,并为了保证数据质量统一标准,对拍摄相片进行抗差处理㊂参考文献:[1] 王柯,付怡然,彭向阳,等.无人机低空遥感技术进展及典型行业应用综述[J].测绘通报,2017(S1):79-83.[2] Cheng C L,SchneeweißH.On the Polynomial Measurement Error Model[J].Springer Netherlands,2002.[3] 汪奇生.线性回归模型的总体最小二乘平差算法及其应用研究[D].昆明:昆明理工大学,2014.[4] 陶叶青.总体最小二乘模型及其在矿区测量数据处理中的应用研究[D].徐州:中国矿业大学,2015.[5] Huijun Y.GNSS Height Fitting Based on Total Least Squares[J].GNSS World of China,2015,40(06):99-101.[6] Ian K J,Yibin Y,Han W.Iterative Method for Total Least -Squares[J].Geomatics and Informa tion Science of Wuhan University,2010,35(06):711-714.[7] Tieding L,Ian Z S.An Iterative Algorithm for Total Least SquaresEstimation[J].Geomatics and Informa tion Science of Wuhan Uni⁃ver sity,2010,35(11):1351-1354.[8] Sun P Q,Bu J Z,Tao T Y,et al.Improvement of camera calibra⁃tion DLT algorithm[J].Journal of Hefei University of Technology(Natural Science),2020,43(09):1229-1233,1280.[9] 倪静.非量测相机检校方法与系统实现[D].东营:中国石油大学(华东),2016.[10] Liang-Zhong C,Liao Y,Pei-Tao K,et al.Calibration of non-metric digital camera based on calibration field [J].Science of Surveying and Mapping,2015,40(02):132-137.[11] 田雷,马然.无人机非量测相机检校方法研究[J].测绘通报,2016(07):81-83,89.[12] 李平.非量测型数码相机的检校[D].西安:西安科技大学,2009.[13] Zhang,Zhengyou.A Flexible New Technique for Camera Cali⁃bration[J].IEEE Transactions on Pattern Analysis &MachineIntelligence,2000,22(11):1330-1334.[14] Maybank S J,Faugeras O D.A theory of self -calibration of amoving camera [J].International Journal of Computer Vision,1992,8(02):123-151.[15] 孟晓桥,胡占义.摄像机自标定方法的研究与进展[J].自动化学报,2003,29(01):110-124.[16] 徐刚.基于灭点几何和径向准直约束的数码相机标定研究[D].桂林:桂林电子科技大学,2011.[17] 张伟航,杨姗姗,李建刚.近景摄影测量相机检校模型综述[J].山西建筑,2013,39(20):207-208.[18] 吴飞.总体最小二乘拟合推估方法及其应用研究[D].南昌:东华理工大学,2015.[19] Jingnan L,Wenxian Z,Peiliang X.Overview of total leastsquares methods[J].Geomatics and information science of wu⁃han university,2013,38(05): 505-512. (上接第70页)筛选部分物理指标作为主控因子,将力学参数作为目标参数,采用数理统计手段可拟合出合适的回归方程,用以推测选取滑带土的力学参数㊂(2)以白龙江水泊峡水电站Ⅶ号滑坡为研究对象,在获取大量滑带土试验数据的基础上,将物理指标ω㊁ρs 及e 作为自变量,采用多元线性回归拟合内摩擦角φ的预测方程;分别采用多元线性回归和非线性回归建立黏聚力c 的预测模型,经对比分析,非线性拟合的计算结果更贴合实测数据㊂(3)沿Ⅶ号滑坡主滑方向剖切计算剖面,根据滑带土的物理指标与预测模型计算力学参数,计算得Ⅰ区滑带土c 值为6.9kPa,φ值为21.3°;Ⅱ区滑带土c 值为28.6kPa,φ值为28.9°㊂稳定性计算结果表明:天然工况下K =1.434,处于稳定状态;地震工况下,K =1.063,处于整体变形~滑动状态㊂计算结果基本与实际情形吻合㊂参考文献:[1] 吴博,赵法锁,王雷,等.黄土-基岩滑坡滑带土特性及其演化过程[J].煤田地质与勘探,2018,46(04):129-134,141.[2] 游敏,聂德新.利用大型岩质滑坡形成的环境条件及重力圧密原理分析滑面形态与强度参数[J].工程地质学报,2010,18(04):470-476.[3] 孙淼军,唐辉明,王潇弘,等.蠕动型滑坡滑带土蠕变特性研究[J].岩土力学,2017,38(02):385-391,399.[4] 闫玉平,肖世国.考虑滑带强度参数分区取值的堆积层滑坡稳定性分析方法[J].中国地质灾害与防治学报,2020,31(02):44-49.[5] 郑莉,王卫.联合水库右岸滑坡滑带土强度参数分析[J].三峡大学学报(自然科学版),2019,41(S1):134-138.[6] 赵宝平,罗先启,毕强,等.库水作用下滑带土力学参数降低的模拟[J].西北水电,2009(01):66-69.[7] 田桂莉.金沙江上游滑带土强度特性的环剪试验研究[D].吉林:吉林大学,2018.[8] 李鹏.Hoek-Brown 准则在软岩~中硬岩坝基岩体力学指标参数选取中的应用 以陕西省延安市龙安水利枢纽工程为例[J].西北水电,2019(04):16-20.[9] 杨期祥.大型深层滑坡滑带土力学强度参数综合选取研究[J].铁道勘察,2022,48(04):61-66.[10] 颜清,彭小平.工程实验数据的非线性拟合方法[J].计算机与应用化学,2015,32(03):365-368.48瞿锴,郭中佑,唐育林,陈抒录,陈朋明.顾及物方坐标误差的张正友标定算法===============================================。
张氏标定法
张氏标定法张正友针对径向畸变问题提出了一个新的求解摄像机内外参数的方法，即张氏标定法，该方法是介于传统标定和自标定之间的一种方法，它只需要摄像机对某个标定板从不同方向拍摄多幅图片，通过标定板上每个特征点和其像平面的像点间的对应关系，即每一幅图像的单应矩阵来进行摄像机的标定，由于该方法模板制作容易，使用方便，成本低，鲁棒性好，准确率高，因此得到了较为广泛的应用【49】。
该算法也属于两步法，摄像机和模板可以自由的移动，不需要知道运动参数。
本文即采用张氏摄像机标定的方法。
（1） 单应矩阵H 的计算由前面所述内容可知，根据摄像机针孔成像模型，可以得到下面的等式：[]⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎣⎡=⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎣⎡=⎥⎥⎥⎦⎤⎢⎢⎢⎣⎡11][1321W W W W W W Z Y X t r r r A Z Y X t R A v u s 现在世界坐标系平面置于标定模板所在的平面，即0=W Z 。
则上式可变为如下形式：[]⎥⎥⎥⎦⎤⎢⎢⎢⎣⎡=⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎣⎡=⎥⎥⎥⎦⎤⎢⎢⎢⎣⎡110][121W W W W Y X t r r A Y X t R A v u s 其中，i r 表示旋转矩阵R 的第i 列向量。
令[]T Y X M 1~=，[]T v u m1~=，则上式可简写为：M H m s ~~=其中：[]⎥⎥⎥⎦⎤⎢⎢⎢⎣⎡===1][323123222113121132121h h h h h h h h h h h t r r A H H 即为单应性矩阵。
有M H ms ~~=式子可以推出： ⎪⎩⎪⎨⎧++=++=++=13231232221131211h X h s h Y h X h sv h Y h X h su 从而推得：⎩⎨⎧++=++++=++23222132311312113231h Y h X h v vYh vXh h Y h X h u uYh uXh 令：[]3231232221131211'h h h h h h h h h =则：0'10000001=⎥⎦⎤⎢⎣⎡------h v vYvXYXu uY uX Y X 上式可以看作0'=Sh ，那么矩阵S S T最小特征值所对应的特征向量就是该方程的最小二乘解。
相机标定实验报告
相机标定一、实验原理相机标定就是求解相机的内参数以及畸变参数的过程。
相机的标定主要有两种：传统的摄像头标定方法和摄像头自标定方法，典型的有：（1）Tsai（传统的标定方法）；（2）张正友（介于传统和自标定之间）。
1999年，微软研究院的张正友提出了基于移动平面模板的相机标定方法。
此方法是介于传统标定方法和自标定方法之间的一种方法，传统标定方法虽然精度高设备有较高的要求，其操作过程也比较繁琐，自标定方法的精度不高，张正友标定算法克服了这两者的缺点同时又兼备二者的优点，因此对办公、家庭的场合使用的桌面视觉系统(DVS)很适合。
张正友标定方法由于简单、效果好而得到广泛使用。
张正友标定法的标定步骤：1、打印一张模板并贴在一个平面上；2、从不同角度拍摄若干张模板图像；3、检测出图像中的特征点；4、求出摄像机的外参数（单应性矩阵）和内参数（最大似然估计）；5、求出畸变系数；6、优化求精。
张正友标定方法的主要思想是：1、相机内参矩阵其中，q 的坐标系是默认的OpenCV 的像素坐标系，Q 的坐标系是标定板坐标系，Z 轴为0，原点在标定板的某个内角点上（标定板上角点的坐标均为[*,*,0]的形式），在OpenCV 3.0中使用的是（[i ∗Squres_Size ，j ∗Square_Size ，0]的形式）。
其中fx 和fy 表示相机x 轴和y 轴的焦距，s 表示成像平面x 轴和y 轴的不正交性。
2、基础公式对于不同位置的棋盘格到相机的成像，可以使用下面的公式进行表示：其中，[R|t]表示棋盘格坐标系相对于相机坐标系的位姿。
把矩阵R 和M ~写开，如下式所示：进行化简得：其中[u v 1]是已知量，[X Y 1]也是已知量，A 和[r1 r2 t]是未知量。
其中H=A[r1 r2 t]又叫做单应性矩阵，可以使用下面的3中所述的方法求解。
3、单应矩阵求解这里使用的方法基于最大似然准则：假设提取的m 存在均值为0，噪声协方差矩阵为的高斯白噪声。
立体相机参数标定方法
立体相机参数标定方法
一、基于张正友标定法的标定方法
1.准备工作：选择一对合适的标定板，并确定世界坐标系和相机位姿。
2.拍摄标定图片：同时拍摄左右相机对标定板的图片，保证标定板在
两个相机内都有良好的视野范围。
3.预处理：提取标定板上的角点坐标，并将其与世界坐标系对应。
4.标定内参：对左右相机的内参进行标定，通过最小二乘法估计相机
焦距、主点坐标、径向畸变和切向畸变等参数。
5.标定外参：通过对应点的极线约束，求解出相机在世界坐标系下的
位置和朝向。
二、基于极线约束的标定方法
1.准备工作：准备一对立体图像。
2.特征点提取：对左右图像进行特征点提取，例如使用SIFT或SURF
算法。
3.特征点匹配：通过特征点的描述子进行匹配，得到对应点对。
4.极线约束：利用极线几何原理，对匹配点对进行筛选和去除误匹配。
5.射线三角化：将筛选后的匹配点对恢复成3D点。
6.相对姿态估计：通过3D点对和相机内参，求解左右相机间的相对
姿态（平移和旋转）。
7.绝对尺度恢复：通过绝对尺度恢复方法，计算出相机坐标系在世界坐标系下的位置和朝向。
知乎 张正友标定法
张正友标定法张正友标定法（Zhang's calibration method）是一种常用的相机标定方法，用于确定相机的内参数和畸变参数。
该方法由中国科学院计算技术研究所的研究员张正友于1999年提出，成为了相机标定领域的经典算法之一。
张正友标定法基于相机的针孔模型，将相机的内参数（如焦距、主点坐标、畸变参数等）以及相机与世界坐标系之间的外参数（如旋转矩阵和平移矩阵）进行标定。
它需要使用一组二维的模板图像和对应的三维真实世界坐标，通过计算模板图像上的特征点和真实世界坐标系中的对应特征点之间的关系，最终得到相机的内外参数。
具体而言，张正友标定法的步骤如下：1.收集标定图像：选取至少一个已知的二维模板图像，并准备一个与模板图像对应的三维真实世界坐标系。
2.提取特征点：对于每个标定图像，使用特征点检测算法（如角点检测）提取图像上的特征点。
3.特征匹配和三维-二维关联：通过将提取的特征点与真实世界坐标系中的对应特征点相关联，建立二维和三维特征点的对应关系。
4.相机参数计算：使用最小二乘法或其他优化算法，根据特征点的对应关系计算相机的内参数（如焦距、主点坐标等）和外参数（旋转矩阵和平移矩阵）。
该计算过程需要考虑相机的畸变参数（如径向和切向畸变）。
5.校正和评估：使用得到的相机内外参数对图像进行校正，通过观察校正结果和评估标定误差，可以对相机标定的准确性进行评估和调整。
张正友标定法通过利用多个标定图像和对应的真实世界坐标，能在一定程度上克服了噪声和畸变的影响，从而提高了相机标定的准确性和稳定性。
该方法广泛应用于计算机视觉、机器人导航等领域，为相机的精确几何校正提供了基础。
张正友标定方法
张正友标定方法
张正友标定方法是一种摄像机标定方法，旨在解决相机的畸变问题。
这种方法需要使用一个标定板，标定板上会有一些黑白相间的方格，通过对这些方格进行检测，可以得到相机的内参和外参矩阵。
在使用张正友标定方法时，需要考虑以下几个步骤：
1. 准备标定板。
标定板需要具有一定的尺寸和规则的黑白方格，以便于相机可以对其进行识别。
同时，标定板需要保持平整，以避免影响标定结果。
2. 拍摄标定板。
将标定板放在相机的拍摄范围内，采用不同的角度和距离进行多次拍摄。
需要注意的是，每次拍摄时标定板的位置和角度应该尽量保持一致。
3. 提取标定板角点。
通过对拍摄到的标定板图像进行处理，提取出标定板上的黑白方格的角点位置。
可以使用OpenCV等图像处理库进行实现。
4. 计算内参矩阵。
根据张正友的理论，通过角点的位置计算相机的内参矩阵。
内参矩阵包括相机的焦距、畸变等参数。
5. 计算外参矩阵。
根据标定板在相机坐标系下的位置和方向，计算相机的外参矩阵。
外参矩阵包括相机位置和方向等参数。
通过以上步骤，就可以得到相机的内参和外参矩阵，从而实现对相机的畸变进行校正。
张正友标定方法是一种比较成熟的相机标定方法，在计算精度和实现难度上都有较好的表现。
- 1 -。
对张正友相机标定法的改进研究_刘艳
５６５
光 学 技 术 第 ４０ 卷
两个坐标系间的关 系 可 以 反 求 出 投 影 矩 阵，这 种 方 法标定的结果比较 精 确，但 是 在 某 些 复 杂 环 境 中 放 置 一 个 规 则 物 体 很 难［６］；张 正 友 相 机 标 定 法 是 在 标 定过程中经常使用 的 一 种 方 法，鲁 棒 性 和 精 度 都 很 高，但是对于鱼眼镜 头 标 定 并 没 有 把 镜 头 畸 变 考 虑 进去［７］。本文提 出 了 一 种 改 进 的 两 步 标 定 法，把 镜 头的切向畸变作为影响标定精度的重要因素考虑进 去，新的标定法需 要 良 好 的 初 始 点 收 敛，否 则，要 么 它 不 收 敛 ，要 么 逐 渐 减 小 ，改 进 的 方 法 极 大 地 纠 正 了 标定时出现的错 误。 为 保 证 初 始 点 的 鲁 棒 性，本 文 只考虑临近像面中 心 的 点 （畸 变 很 小），在 数 据 归 一 化 之 前 ，通 过 非 线 性 最 小 化 进 行 优 化 参 数 。
第４０卷 第６期
光学技术
Ｖｏｌ．４０ Ｎｏ．６
２ ０ １ ４年１ １月 ＯＰＴＩＣＡＬ ＴＥＣＨＮＩＱＵＥ Ｎｏｖ． ２０１４
文 章 编 号 ：１００２－１５８２（２０１４）０６－０５６５－０６
对张正友相机标定法的改进研究＊
刘 艳 ，李 腾 飞
熿αｓ ０ ｕ０燄 Ａ ＝ ０ αｙ ｖ０
燀０ ０ １燅
熿ｒ１１ ｒ１２ ｒ１３燄 Ｒ ＝ ｒ２１ ｒ２２ ｒ２３ ＝ ［ｒ１ｒ２ｒ３］
燀ｒ３１ ｒ３２ ｒ３３燅
第６期
刘 艳 ，等 ： 对 张 正 友 相 机 标 定 法 的 改 进 研 究
熿ｒ１４燄 Ｔ ＝ ｒ２４
燀ｒ３４燅
张正友相机标定法
y
sin
sin
cos
z cos sin cos
1
0
cos sin sin sin sin cos cos cos sin sin sin cos
0
sin sin cos cos cos
0
x0 x'
y0
y'
z0 1
z'
1
R r1 r2 r3
T (t1, t2 , t3 )T
0
cos
sin
Rot(
y,
)
0
cos
0
sin
sin
0 1 0
cos
sin
0
cos
cos sin 0
R ot( z,
)
sin
cos
0
0
0 1
1 坐标变换
引申到三维空间，第一个阶段：我们依旧从旋转和平移两个步骤 来推算从世界坐标系到相机坐标系的坐标变换
x cos cos
畸变校正模型
由于透镜的中心对称 性，所以式中考虑x 方向上与y方向上的 径向畸变率是相同的
x x x[k1(x2 y2 ) k2 (x2 y2 )2 ] y y y[k1(x2 y2 ) k2 (x2 y2 )2 ]
u u (u u0 )[k1(x2 y2 ) k2 (x2 y2 )2 ] v v (v v0 )[k1(x2 y2 ) k2 (x2 y2 )2 ]
i1 j1
mij 第j个点在第i幅图像中的像点 Ri 第i幅图像的旋转矩阵 ti 第i幅图像的平移向量 M j 第j个点的空间坐标 初始化值利用上面线性求解的结果 畸变系数k1, k2初始值为0
1 张正友标定方法流程
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
ˆ A, Ri , ti , M j m
是通
ˆ A, Ri , ti , M j 的求解是一个经典的非线性优化的问题，使评价函数最小的A，Ri，ti就是 m
这个问题的最优解。可以取第一次得到的线性求解结果作为A、Ri , ti i 1n的初始值，解决 这类问题的方法很多 ，在计算机视觉领域里通常使用Levenberg-Marquarat(LM)算法进行求 解。
T
v12 b 0
(v11 v22 )T b 0
Vb 0
• V矩阵是2*6矩阵，也就是说每张照片可建立起两个方程组，6个未 知数。根据线性代数知识可知，解6个未知数需至少6个方程组，所 以也就是说我们至少需要三张照片才能求解未知数。b矩阵的解出， 相机内参矩阵A也就求解出，从而每张图像的R，t也迎刃而解。
r r 0
T 1 2
r1 r2 1
对单应性矩阵H的估算
• H就是我们常说的单应性矩阵，在这里描述的是空间中平面三维点
和相机平面二维点之间的关系。因为相机平面中点的坐标可以通过 图像处理的方式（哈里斯角点，再基于梯度搜索的方式精确控制点 位置）获取，而空间平面中三维点可以通过事先做好的棋盘获取。 所以也就是说每张图片都可以计算出一个H矩阵。
~ ~ sm HM
r1 r2 r3 1 r1 r2 r2 r3 r3 r1 0
2 2 2
X t Y 1
我们假定 H Ar1
r2
t 则原式可化为：
这里，矩阵H就是从世界坐标系到图像坐标系的3×3大小的单应性矩阵。 对H再次进行变形，假设h1,h2,h3是H的列向量，有：
uXh31 uYh32 u h11 X h12Y h13 vXh31 vYh32 v h21 X h22Y h23
令
h' h11 h12
X 0 Y 1 0 0 0 X
h13
Y
h21 h22
1 vX
h23
uY vY
h31 h32 1
张正友相机标定方法-二维标定方法
张正友相机标定方法
主要步骤： 1.从不同的角度拍摄图像 2.识别特征点 3.建立单应矩阵H 4.求解线性系统 5.优化 张正友方法所用的平面模板
一个二维点坐标被表示为 m [u, v] ，一个三维点被表示为M [ X , Y , Z ]T T ~ [u, v,1] x 去表示通过在矩阵最后面的元素加一个1的向量：m ，我们使用 ~ ~ T M 和 [X, Y , Z ,1] ，相机通常都是针孔模型：它的3D点M和它的图像投影 点m的关系为：
ˆ A, Ri , ti , M j mij m
n m i 1 j 1
ˆ A, Ri , ti , M j mij m
n m i 1 j 1
• 其中mij是三维场景中第j个物点在第i幅图像上的像点坐标矢量，Ri是第i幅图像的旋转矩阵，是
ti第i幅图像的平移向量，Mj是三维场景中第j个物点的空间坐标，
张正友标定方法流程
1.打印一张标定板，然后附加到一个平坦的表上。
2.通过移动相机或者平面拍摄标定板各种角度的图片。
3.检测图片中的特征点 4.计算5个内部参数和所有的外部参数
5.通过最小二乘法先行求解径向畸变系数。
6.通过求最小参数值，优化所有的参数
谢谢观看！
A 0 0
u0 v0
0 1
很显然，B是一个对称矩阵，我们假定：
b B11
B12
B22
B13
B23
B33
T
设H矩阵中第i列的向量为
hi hi1 hi 2
中有：
hi3
T
带入到
h1T AT A1h2 0
T
hi B hj
解得：
T 1 T 1
B12 B22 B23
B13 B23 B33
2
1
2 2 (v0 u0 ) v0 2 2 2
2 (v0 u0 ) v0 2 2 2 2 2 (v0 u0 ) v0 1 2 2 2 v0 u0
r1 A1h1 1 r2 A h2 r3 r1 r2 1 t A h 3 1 1 1 1 A h A h 1 2
最大似然估计
• 由于数据中的噪声,计算矩阵R的不满足一般的旋转矩阵的性质。所 以要对上面得到结果用最大似然估计来进行优化。 • 转动标定模板，从不同的角度拍摄棋盘标定模板的n幅图像，设每幅 图像都具有相同的标定点，标定点的个数为m，并假设每个标定点 的坐标都有独立同分布的噪声，因为初始的参数已经求解，所以我 们将每张图像的控制点根据求解的参数重投影回三维空间，最小化 与真实值的差异，其实就是建立非线性最小化模型：
Z=0平面
u Ar r s v 1 2 1
r3
X Y t Ar1 r2 0 1
X t Y 1
单应性矩阵H推导
u Ar r s v 1 2 1
T
~ ~ sm A[ R, t ]M
任意数 二维坐标 内参矩阵 旋转矩阵
平移矩阵
三维坐标
A 0 0
u0 v0
0 1
~ ~ sm A[ R, t ]M
展开
u Ar r s v 1 2 1
r3
X Y t Z 1
u h' 0 v
可以看出每张图片都可以 计算出一个H矩阵
0 0 uX
h1T AT A1h2 0
T T 1 h1T AT A1h1 h2 A A h2
所以，令
B11 B AT A1 B21 B13 1 2 2 v0 u0 2
T
vij hi1h j1 hi1hj 2 hi 2hj1 hi 2hj 2
1
T
vij b
hi3hj1 hi1h j 3 hi3hj 2 hi 2h j 3 hi3hj 3
v12T b 0 (v11 v 22)T
h A A h2 0
T T 1 h AT A1h1 h2 A A h2
H h1 h2
r1 r2 1
h3 Ar1 r2 t
A1h1 A1h2
1
r r 0
T 1 2
r1 r2 1
r1 r2
1
1
A1h1 A h2
1
h1T AT A1h2 0
T T 1 h1T AT A1h1 h2 A A h2
假设
H Ar1
r2
t [h1
h2
h11 h3 ] h21 h31
h12 h22 h32
h13 h23 1
~ ~ sm HM
su h11 X h12Y h13 sv h21 X h22Y h23 s h X h 1 31 32