计算机视觉中的多视图几何第五章 摄像机几何和单视图几.
摄像机标定方法综述
摄像机标定方法综述 摘要：首先根据不同的分类方法对对摄像机标定方法进行分类，并对传统摄像机标定方法、摄像机自标定方法等各种方法进行了优缺点对比，最后就如何提高摄像机标定精度提出几种可行性方法。 关键字：摄像机标定，传统标定法，自标定法，主动视觉 引言 计算机视觉的研究目标是使计算机能通过二维图像认知三维环境，并从中获取需要的信息用于重建和识别物体。摄像机便是3D 空间和2D 图像之间的一种映射，其中两空间之间的相互关系是由摄像机的几何模型决定的，即通常所称的摄像机参数，是表征摄像机映射的具体性质的矩阵。求解这些参数的过程被称为摄像机标定[1]。近20 多年，摄像机标定已成为计算机视觉领域的研究热点之一，目前已广泛应用于三维测量、三维物体重建、机器导航、视觉监控、物体识别、工业检测、生物医学等诸多领域。 从定义上看，摄像机标定实质上是确定摄像机内外参数的一个过程，其中内部参数的标定是指确定摄像机固有的、与位置参数无关的内部几何与光学参数，包括图像中心坐标、焦距、比例因子和镜头畸变等；而外部参数的标定是指确定摄像机坐标系相对于某一世界坐标系的三维位置和方向关系，可用3 ×3 的旋转矩阵R 和一个平移向量t 来表示。 摄像机标定起源于早前摄影测量中的镜头校正，对镜头校正的研究在十九世纪就已出现，二战后镜头校正成为研究的热点问题，一是因为二战中使用大量飞机，在作战考察中要进行大量的地图测绘和航空摄影，二是为满足三维测量需要立体测绘仪器开始出现，为了保证测量结果的精度足够高，就必须首先对校正相机镜头。在这期间，一些镜头像差的表达式陆续提出并被普遍认同和采用，建立起了较多的镜头像差模型，D.C.Brown等对此作出了较大贡献，包括推导了近焦距情况下给定位置处径向畸变的表达式及证明了近焦距情况下测得镜头两个位置处的径向畸变情况就可求得任意位置的径向畸变等[2]。这些径向与切向像差表达式正是后来各种摄像机标定非线性模型的基础。随着CCD器件的发展，现有的数码摄像机逐渐代替原有的照相机，同时随着像素等数字化概念的出现，在实际应用中，在参数表达式上采用这样的相对量单位会显得更加方便，摄像机标定一词也就代替了最初的镜头校正。
计算机视觉中的数学方法
吴福朝 编著 计算机视觉中的数学方法
内容简介 本书由射影几何、矩阵与张量、模型估计三个部分组成，它们是三维计算机视觉所涉及到的基本数学理论与方法。I. 射影几何学是三维计算机视觉的数学理论基础，是从事计算机视觉研究所必备的数学知识。本书着重介绍射影几何学和它在视觉中的应用，主要内容包括：平面与空间射影几何，摄像机几何，两视点几何，自标定技术和三维重构理论。II. 矩阵与张量是描述和解决计算机视觉问题的必要数学工具，视觉领域研究人员都应该掌握这门数学。本书着重介绍与视觉有关的矩阵、张量理论与它的应用，主要内容包括：矩阵分解，矩阵分析，张量代数，运动与结构，多视点张量。III. 模型估计是三维计算机视觉的基本问题，通常涉及到变换或某种数学量的估计。本书着重介绍与视觉估计有关的数学理论与方法，主要内容包括：迭代优化理论，参数估计理论，视觉估计的代数方法、几何方法、鲁棒方法和贝叶斯方法。上述三部分涉及的数学内容是相对独立的，但三维计算机视觉将它们组成一个有机的整体。通过阅读本书，读者能掌握三维计算机视觉中的基本数学内容与方法，增强数学素养、提高分析和解决视觉问题的数学能力。
目 录 第一篇射影几何 第1章 平面射影几何 1.1射影平面--------------------------------------------------- 3 1.1.1射影平面----------------------------------------------- 3 1.1.2 两点、两线的叉积--------------------------------------- 5 1.1.3共线点、共点线的交比----------------------------------- 5 1.2 二次曲线--------------------------------------------------8 1.2.1 矩阵表示---------------------------------------------9 1.2.2 切线-------------------------------------------------9 1.2.3 配极对应---------------------------------------------10 1.2.4 对偶二次曲线-----------------------------------------13 1.2.5 圆环点及其对偶---------------------------------------14 1.3 二维射影变换---------------------------------------------16 1.3.1 二维射影变换-----------------------------------------16 1.3.2 直线与二次曲线的射影变换-----------------------------20 1.4 变换群与不变量-------------------------------------------21 1.4.1 等距变换群-------------------------------------------21 1.4.2 相似变换群-------------------------------------------23 1.4.3 仿射变换群-------------------------------------------24 1.4.4 射影变换群-------------------------------------------27 第2章 空间射影几何 2.1 射影空间------------------------------------------------- 31 2.1.1 空间点-----------------------------------------------31 2.1.2 空间平面---------------------------------------------31 2.1.3 空间直线---------------------------------------------34 2.1.4 共线平面束的交比-------------------------------------37 2.2 三维射影变换--------------------------------------------- 38 2.2.1 三维射影变换-----------------------------------------38 2.2.2 平面与直线的变换规则---------------------------------39 2.3 二次曲面与变换规则---------------------------------------40 2.3.1 基本性质---------------------------------------------40 2.3.2 二次曲面的对偶---------------------------------------42 2.3.3 绝对二次曲线与绝对二次曲面---------------------------45 2.4 空间射影变换群的子群-------------------------------------49 2.4.1 仿射变换群-------------------------------------------49 1
摄像机标定程序使用方法
一、材料准备 1 准备靶标： 根据摄像头的工作距离，设计靶标大小。使靶标在规定距离范围里，尽量全屏显示在摄像头图像内。 注意：靶标设计、打印要清晰。 2图像采集： 将靶标摆放成各种不同姿态，使用左摄像头采集N幅图像。尽量保存到程序的debug->data文件夹内，便于集中处理。 二、角点处理（Process菜单） 1 准备工作： 在程序debug文件夹下，建立data，left，right文件夹，将角探测器模板文件target.txt 复制到data文件夹下，便于后续处理。 2 调入图像： File->Open 打开靶标图像 3 选取角点，保存角点： 点击Process->Prepare Extrcor ，点击鼠标左键进行四个角点的选取，要求四个角点在最外侧，且能围成一个正方形区域。每点击一个角点，跳出一个显示角点坐标的提示框。当点击完第四个角点时，跳出显示四个定位点坐标的提示框。 点击Process->Extract Corners ，对该幅图的角点数据进行保存，最好保存到debug->data-> left文件夹下。命名时，最好命名为cornerdata*.txt，*代表编号。 对其余N-1幅图像进行角点处理，保存在相同文件夹下。这样在left文件夹会出现N 个角点txt文件。 三、计算内部参数（Calibration菜单） 1 准备工作： 在left文件夹中挑出5个靶标姿态差异较大的角点数据txt，将其归为一组。将该组数据复制到data文件夹下，重新顺序编号，此时，文件名必须为cornerdata*，因为计算参数时，只识别该类文件名。 2 参数计算： 点击Calibration->Cameral Calibrating，跳出该组图像算得的摄像机内部参数alpha、beta、gama、u0、v0、k1、k2七个内部参数和两组靶标姿态矩阵，且程序默认保存为文件CameraCalibrateResult.txt。 3 处理其余角点数据文件 在原来N个角点数据文件中重新取出靶标姿态较大的5个数据文档，重复步骤1和2；反复取上M组数据，保存各组数据。 注意：在对下一组图像进行计算时，需要将上一组在data文件夹下的5个数据删除。 四、数据精选 1 将各组内部参数计算结果进行列表统计，要求|gama|<2，且gama为负，删掉不符合条件的数据。 2 挑出出现次数最高的一组数据。
halcon单摄像机标定
In the reference manual，operator signatures are visualized in the following way: operator ( iconic input : iconic output : control input : control output ) 在HALCON所有算子中，变量皆是如上格式，即：图像输入：图像输出：控制输入：控制输出，其中四个参数任意一个可以为空。控制输入量可以是变量、常量、表达式，控制输出以及图像输入和输入必须是变量，以存入算子计算结果中。 1.caltab_points：从标定板中读取marks中心坐标，该坐标值是标定板坐标系统里的坐标值，该坐标系统以标定板为参照，向右为X正，下为Y正，垂直标定板向下为Z正。该算子控制输出为标定板中心3D坐标。 2.create_calib_data：创建Halcon标定数据模型。输出 一个输出数据模型句柄。 3.set_calib_data_cam_param：设定相机标定数据模型中设置相机参数的原始值和类型。设置索引，类型，以及相机的原始内参数等。 4.set_calib_data_calib_object:在标定模型中设定标定对象。设定标定对象句柄索引，标定板坐标点储存地址。 5.find_caltab：分割出图像中的标准标定板区域。输出为标准的标定区域，控制 6.find_marks_and_pose：抽取标定点并计算相机的内参数。输出MARKS 坐标数组，以及估算的相机外参数。 即标定板在相机坐标系中的位姿，由3个平移量和3个旋转量构成。 7.set_calib_data_observ_points( : : CalibDataID, CameraId x, CalibObjIdx,CalibObjPoseIdx, Row, Column, Index, Pose : ) 收集算子6的标定数据，将标定数据储存在标定数据模型中。输入控制分别为标定数据模型句柄，相机索引，标定板索引，位姿索引，行列坐标，位姿。
计算机视觉简介
人们常说：眼睛是心灵的窗户，通过眼睛人们可以轻易地交流情感，眼睛也是与外界交流的窗口，这些都是通过“看”来完成的。 人们可以很容易“看到”一幅画，但这一“简单”过程并不如此简单，大致上它可以分为以下几个阶段：首先是通过眼睛将图成像在视网膜上；其次大脑对图像进行理解；最后根据处理的结果做出反应。用比较专业一点的语言来描述，该过程包括了识别、描述与理解三个层次；这其中还隐含了边缘检测（各物体的轮廓等）、图像的分割（各物体区域的划分）等阶段。以上实际上概述了视觉系统的三个层次，即低层阶段：基于图像特征提取及分割阶段；中层阶段：基于物体的几何模型与图像特性表达阶段；高层阶段：基于景物知识的描述、识别与理解阶段，这是根据先验知识介入的程度划分的，且实现起来也越来越困难。 毫无疑问，如何人工实现这一过程是极具挑战性和应用前景的一项工作，计算机视觉也因此而应运而生。计算机视觉是研究用计算机和成像设备来模拟人和生物视觉系统功能的技术学科，其目标是从图像或图像序列中获取对外部世界的认知和理解，即利用二维图像恢复三维环境中物体的几何信息，比如形状、位置、姿态、运动等，并能描述、识别与理解。 计算机视觉的基础是各种成像设备，例如CCD(Charge Coupled Device )摄像机（数码相机属于此类型）、红外摄像机、医学上常用的核磁共振成像、X射线成像等，这些设备不仅可以成像，还可以获取比人眼更丰富的图像，人们可以形象地把摄像机看成计算机视觉的视网膜部分。可以说从人类拍摄出第一幅图像开始，就为计算机视觉的诞生奠定了基础。 而计算机视觉的核心是数字电子计算机，其发展可谓突飞猛进，在计算和存储能力上，人脑已经无法与之相比，人们的目标就是利用计算机非凡的计算处理能力来代替人脑实现对图像的理解，而计算机日新月异的发展也使得这一愿望越来越成为可能。 用于指导“计算机”这个大脑运作的核心是计算机视觉的理论方法，计算机视觉使用的理论方法主要基于几何、概率和运动学计算与三维重构的视觉计算理论，它的基础包括射影几何学、刚体运动力学、概率论与随机过程、图像处理、人工智能等理论。在20世纪70年代，视觉研究大多采用模式识别的方法；80年代，开始采用空间几何的方法以及物理知识进行视觉研究；90年代以后，随着智能机器人视觉研究的发展，引入了许多新的理论与技术如主动视觉理论、不变量理论、融合技术等，并应用于许多计算机视觉系统中。 研究计算机视觉，不得不提的是英国已故科学家戴维·马尔（David Marr），他在计算机视觉发展史上可谓写下了浓重的一笔。在20世纪70年代末，他提出了第一个
双目摄像机标定
1.摄像机标定技术的发展和研究现状 计算机视觉的研究目标是使计算机能通过二维图像认知三维环境，并从中获取需要的信息用于重建和识别物体。真实的3D场景与摄像机所拍摄的2D图像之间有一种映射关系，这种关系是由摄像机的几何模型或者参数决定的。求解这些参数的过程就称为摄像机标定。摄像机标定实质上是确定摄像机内外参数的一个过程，其中内部参数的标定是指确定摄像机固有的、与位置参数无关的内部几何与光学参数，包括图像中心坐标、焦距、比例因子和镜头畸变等；而外部参数的标定是指确定摄像机坐标系相对于某一世界坐标系的三维位置和方向关系。 总的来说, 摄像机标定可以分为两个大类: 传统的摄像机标定方法和摄像机自标定法。传统摄像机标定的基本方法是, 在一定的摄像机模型下, 基于特定的实验条件如形状、尺寸已知的参照物, 经过对其进行图像处理, 利用一系列数学变换和计算方法, 求取摄像机模型内部参数和外部参数。另外, 由于许多情况下存在经常性调整摄像机的需求, 而且设置已知的参照物也不现实, 这时就需要一种不依赖参照物的所谓摄像机自标定方法。这种摄像机自标定法是利用了摄像机本身参数之间的约束关系来标定的, 与场景和摄像机的运动无关, 所以相比较下更为灵活。 1966年，B. Hallert研究了相机标定和镜头畸变两个方面的内容，并首次使用了最小二乘方法，得到了精度很高的测量结果。1975年，学者W. Faig建立的一种较为复杂的相机成像模型，并应用非线性优化算法对其进行精确求解，但是仍存在两个缺点，一是由于加入了优化算法导致速度变慢，二是标定精度对相机模型参数的初始值的选择有严重的依赖性，这两个缺点就导致了该标定方法不适于实时标定。1986年Faugeras提出基于三维立方体标定物通过拍摄其单幅
摄像机自标定的线性理论与算法
第!"卷第##期!$$#年##月计算机学报%&’()*)+,%-./01)2*3456!"(46##(476!$$# 摄像机自标定的线性理论与算法 吴福朝 #89!8胡占义#8#8 :中国科学院自动化研究所模式识别国家重点实验室北京#$$$;$8!8:安徽大学人工智能研究所合肥!<$$<=8 收稿日期>!$$$?$!?$<@修改稿收到日期>!$$$?$=?#;6本课题得到国家自然科学基金:A =;B C $$#9A ==B C $!#9A $$<<$#$8D 国家E 九七三F 重点基础研究发展规划项目:G # ==;$<$C $!8和中国科学院重大交叉学科前沿项目资助6吴福朝9男9#=C B 年生9教授9博士生导师9目前感兴趣的研究领域是计算机视觉9主要研究方向为
单视图摄像机自标定
第25卷 第4期2004年12月 上 海 海 事 大 学 学 报JOURNA L OF SH ANGH AI M ARITI ME UNI VERSITY V ol.25 N o.4 Dec.2004文章编号:167229498(2004)0420047204 单视图摄像机自标定 杨忠根,张 振 (上海海事大学信息工程学院,上海 200135) 摘 要:首先定义基于模型的单视图情况下的单应性矩阵、外极线约束和基础矩阵,然后通过对基础矩阵的S VD 分析,证明使用经其左奇异变换阵变换过的数据集合可最优地估计一个能解析地确定单应性矩阵的四维参数,并进而计算摄像机内参数阵、三维运动参数和目标三维结构,从而开发了一个基于目标模型的从单视图特征点集进行摄像机自标定和三维重建的线性算法。关键词:计算机视觉;单视图摄像机自标定;三维重建;单应性矩阵;基础矩阵中图分类号:T N941.1 文献标识码:A C amera self 2calibration for single 2vie w Y ANG Zhonggen ,ZHANG Zhen (In formation Engineering C ollege ,Shanghai Maritime University ,Shanghai 200135,China ) Abstract :The hom ographic matrix ,epipolar constraint and fundamental matrix in the case of m odel 2based single 2view are firstly defined.Then ,by means of the S VD analysis of the fundamental matrix ,the 42dimensional parameter vector from which the hom ographic matrix is analytically and uniquely determined can be optimally estimated from the data trans 2formed by the left singular matrix of the fundamental matrix.At last ,the intrinsic parameter matrix ,the 3D m otion as well as the 3D reconstruction can be straightforwardly calculated from the determined hom ographic matrix.S o ,a linear alg orithm to self 2calibrate the intrinsic parameter matrix of a camera and to reconstruct the 3D shape of the target in the single 2view is success fully developed. K ey w ords :com puter vision ;camera calibration for single 2view ;3D reconstruction ;hom ographic matrix ;fundamental matrix 收稿日期:2004203224 基金项目:上海市高等学校科学技术发展基金项目资助(01G 02) 作者简介:杨忠根(19462),男,江苏高邮人,教授,硕士,研究方向为通信与信息技术,(E 2mail )zgyang @https://www.360docs.net/doc/0e5155367.html, 0 引 言 单视图三维复原并不是一个新课题[1～5],但是用单视图特征点集进行摄像机自标定和三维重建即无标定三维复原却是一个新课题。 计算机视觉的一个重要任务是从场景的二维视图进行目标的三维重建,因此必须进行摄像机标定。传统的摄像机标定技术采用离线方式进行,使得传 统的三维重建必须使用位于图像坐标系中的特征点集,这需要预先标定摄像机内参数阵。当摄像机内 参数阵没有预先标定或在线变化时(例如在凝聚注意力机制中,摄像机必须按要求随时变焦),这些传统技术就失效了。 随着计算机视觉技术的发展,在线自标定应运而生。自从Hartley [6]和Faurgeras [7]首次提出摄像机自标定思想后,摄像机自标定已成为计算机视觉
计算机视觉大纲.doc
课程名称：计算机视觉 课程编码：M510021 课程学分：3 适用学科：信息与计算科学、数学与应用数学 计算机视觉 Computer Vision 教学大纲 一、课程性质 计算机视觉是人工智能领域的一个重要部分，它的研究目标是使计算机具有通过二维图像认知三维环境信息的能力。计算机视觉是以图象处理技术、信号处理技术、概率统计分析、计算几何、神经网络、机器学习理论和计算机信息处理技术等为基础，通过计算机分析与处理视觉信息。 二、课程教学目的 通过计算机视觉课程的学习，使硕士研究生掌握计算机视觉基本理论与方法以及计算机视觉的一些典型应用，初步具有设计、实现计算机视觉中比较简单的算法的能力，从而为学生进一步从事该方向的学习与研究工作打下基础。 三、教学基本内容及基本要求 计算机视觉主要内容分为六部分。基本要求与基本内容如下： 1、教学基本内容 (一)计算机视觉概述：计算机视觉的基本概念，计算机视觉的发展和应用，计 算机视觉的现状。 (二)摄像机成像原理及针孔摄像机成像模型。 (三)射影几何的基本介绍及几何元素的数学表达方法。 (四)多视几何理论，包括单视几何中的射影测量、两视几何中的外极几何的基 本概念、基本矩阵、本质矩阵的理论推导及其含义。 (五)立体视觉方法。使用双摄像机得到的图像恢复三维物体深度信息的方法， 包括直接重建和分层重建理论。 (六)视觉系统的标定，包括3D标定模板下的Tsai标定算法、2D标定模板下的 张正友标定算法、基于圆的标定算法、1D张正友标定算法、基于Kruppa方程的自标定算法。 2、教学基本要求 通过对计算机视觉的教学活动，对学生的要求按了解、理解、掌握三个层面给出，具体要求如下： (一)计算机视觉概述 1.理解计算机视觉的基本概念。 2.了解计算机视觉的应用前景及发展现状。 (二)摄像机成像 掌握针孔摄像机成像模型。 (三)射影几何
动态检测中多摄像机标定技术研究
动态检测中多摄像机标定技术研究1 林家春，李伟，荀一 中国农业大学工学院（100083） E-mail:linjc@https://www.360docs.net/doc/0e5155367.html, 摘 要：根据多摄像机联合测量的要求，建立了摄像机标定分析模型,研制了标定模板；分析了三摄像机联合采集的系统误差,对三台摄像机采集信息输入过程中的数据精确性问题进行了研究，确定了三台摄像机之间系统误差分析模型、及标定方法，并分析了系统标定误差。 关键词: 计算机视觉，动态检测，摄像机标定 1 引言 摄像机标定是指建立图像象素位置和场景点位置之间的关系[1-2]，目前的摄像机标定技术大致可归结为摄像机标定方法和摄像机自标定方法两类[3-6]，本系统采用的标定方法为前一种。首先建立实际的摄像机模型，然后基于特定的试验条件和已知的标定参照物，对图像进行处理。最后利用数学变换计算摄像机模型的内部参数和外部参数。为了精确地建立含畸变的图像坐标与实物三维坐标之间的关系，需要在变换关系中引入畸变修正项，建立非线性摄像机分析模型。 本论文研究的基于计算机视觉的检测试验台，传送带匀速运动,当通过测量系统摄像头时，三个摄像头同时工作,实时采集视场内的图像，对图像进行处理和分析，从而实现对种子粒距的测量[7]。在系统检测过程中，摄像头参数的准确标定与否，直接关系到检测结果的可信度。因此需要设计合理的标定方法，在对播种机的播种性能检测前，对摄像机进行标定。 2 摄像机模型分析 在图像采集中，需要将客观世界的3-D场景投影到摄像机的2-D像平面上，这个投影可用成像变换描述。成像变换涉及到不同坐标系统之间的变化，图像采集的过程就是通过成像变化以及一系列的坐标变换，将3-D客观世界的场景映射到计算机数字图像上的坐标点的过程[8-9]。这里涉及到的坐标系如图1。 1 ) 世界坐标系统：也称真实或现实世界坐标系统XYZ,它是客观世界的绝对坐标系。 2) 摄像机坐标系统：以摄像机为中心制定的坐标系统xyz,取摄像机的光学轴为z轴。 x′′。取象平面与摄像机坐标 3)象平面坐标系统：在摄像机内所形成的象平面坐标系统y 系统的xy平面平行，且x轴与x′，y轴与y′轴分别平行，这样象平面原点就在摄像机光学轴上。 1农业部种子工程项目子专题 (200KY001)资助 - 1 -
计算机视觉—对极几何
计算机视觉基础4——对极几何(Epipolar Geometry) 2014-02-05 学海无涯GL+关注献花(2) 先思考一个问题：用两个相机在不同的位置拍摄同一物体，如果两张照片中的景物有重叠的部分，我们有理由相信，这两张照片之间存在一定的对应关系，本节的任务就是如何描述它们之间的对应关系，描述工具是对极几何，它是研究立体视觉的重要数学方法。 要寻找两幅图像之间的对应关系，最直接的方法就是逐点匹配，如果加以一定的约束条件对极约束(epipolar constraint)，搜索的范围可以大大减小。 先回顾简单的立体成像系统 对极约束的图示
更一般的立体成像关系：两个相机的坐标无任何约束关系，相机的内部参数可能不同，甚至是未知的。要刻画这种情况下的两幅图像之间的对应关系，需要引入两个重要的概念——对极矩阵(Epipolar Matrix)和基本矩阵(Fundamental Matrix)。 对极几何中的重要概念（参考下图）： 极点：极点el:右相机坐标原点在左像平面上的像；极点er:左相机坐标原点在右像平面上的像 极平面：由两个相机坐标原点Ol、Or和物点P组成的平面 级线：极平面与两个像平面的交线，即plel和prer 级线约束：两极线上点的对应关系 有点烦人，先转移一下话题：What would Pi nhead’s eye look like close up?
如果两个人同时看这一景物，将是什么样的呢？
再回到对极几何图上来，通过上面几幅图示，利用对极几何的约束关系，我们可以： 1. 找到物点P在左像平面上的像点pl； 2. 画出极线plel； 3. 找到极平面Olplel与右像平面的交线，即得极线prer；