机器视觉中的摄像机定标方法综述
计算机视觉中摄像机定标综述
计算机视觉中摄像机定标综述一、本文概述随着计算机视觉技术的快速发展,摄像机定标技术在许多实际应用中,如机器人导航、三维重建、增强现实等领域,发挥着越来越重要的作用。
摄像机定标,即确定摄像机的内部参数(如焦距、主点坐标)和外部参数(如旋转矩阵、平移向量),是计算机视觉任务中的基础且关键的一步。
本文旨在综述摄像机定标技术的研究现状、主要方法及其优缺点,并分析未来的发展趋势。
本文将首先回顾摄像机定标技术的发展历程,从早期的传统定标方法到现代的基于主动视觉和自定标的方法。
然后,重点介绍几种主流的摄像机定标方法,包括基于二维平面模板的定标、基于三维物体的定标、基于自然场景的定标等,并详细分析它们的原理、实施步骤及适用范围。
本文还将讨论摄像机定标精度的影响因素及提高定标精度的策略。
本文将对摄像机定标技术的发展趋势进行展望,包括新型定标方法的研究、定标精度和鲁棒性的提升、以及定标技术在更多复杂和动态场景中的应用等方面。
通过本文的综述,读者可以对摄像机定标技术有全面深入的了解,并为后续研究和实践提供有益的参考。
二、摄像机模型在计算机视觉中,摄像机模型是一个基础而重要的概念,它用于描述和解析摄像机如何捕捉和表示三维世界中的物体。
摄像机模型的理解和应用对于摄像机定标至关重要,因为它提供了从图像坐标到世界坐标的映射关系。
常见的摄像机模型主要有两种:针孔摄像机模型和径向镜头摄像机模型。
针孔摄像机模型是最简单也是最基本的模型,它假设光线通过一个小孔(即针孔)投影到成像平面上,形成一个倒立的实像。
在这个模型中,摄像机的内外参数可以通过几何关系直接计算出来。
然而,针孔摄像机模型忽略了实际摄像机镜头中的径向畸变,这在高精度应用中可能会产生较大的误差。
为了解决这个问题,人们引入了径向镜头摄像机模型。
这个模型在针孔模型的基础上,考虑了径向畸变的影响。
径向畸变主要是由于光线在通过镜头时,由于镜头形状和制造工艺的影响,光线在径向方向上的投影产生了偏差。
计算机视觉中摄像机定标综述
机 网 络。
在 计 算 机 视 觉 中摄 影 机 的成 像 原 理 就 是 利 用 光 的 感 应 , 通
过对摄像机 的焦距进行调整 , 确定拍摄 目标在摄像机镜头
干河床 的河 岸依流水侧蚀情况与 冲沟符号配 据 拓扑错 误检查 , 主要包 括居 民地层 、 道路层 、 水 系层、 地 的河道干河。 貌层 、 植被层 , 改正重叠线、 重叠面错 误以及必须被覆盖错 合表示。 ⑦ 露天采掘场 与贮渣、 贮煤 的场地之 间存在 区别。 误: 其 中植 被 层 所 有地 类 界都 应 有其 存在 的 意 义 。 露天采 掘场是指露 天开采矿物及挖 掘沙、 石、 粘土 等 的地 3 编辑 中需要注意 的几个 事项 方( 包括乱掘地 ) ; 贮煤( 渣) 场 是 指较 固 定 的堆 放 东 西 的一
① 选择实体操作 后要及时取消 , 以免被 同时进行 下一 项操作 。② 裁切植被 面时只开启植被 层 , 以免切去其他地 物, 造成丢 漏现象。③ 晕线房宽度一定大于 0 . 7 。 4 在 实践 中经 常遇 到的几个 易混 淆的概念如 下 ① 机井房 用房屋 内水 井表示 , 机字是 黑色 ; 水 井用水 系里的水井表示 , 机字是兰色。② 地物范 围地 类界 高于普 通植被 地类界 , 要优先表示。 ③ 加固岸与围墙 的区别 , 加固
块儿场地。 ⑧输水 渡槽 与桥 的区别。 输水 渡槽 指跨越 山谷、
道 路 或 沟 渠 时 的桥 梁 式 输 水 设施 ; 桥是指 跨越水面 、 沟 渠
或道路 , 供车辆通行 的架空通道。⑨ 水库 出水 口与涵洞 的
区别。 出水 口是水库坝体上修建 的排水洞 口: 涵洞是修建
摄像机标定 方法
摄像机标定方法摄像机标定是计算机视觉领域的一项重要任务,主要目的是确定摄像机的内外参数,以便将图像中的像素坐标转换为世界坐标。
摄像机标定有多种方法可供选择,其中包括使用标定物体、使用棋盘格、使用角点等。
下面将详细介绍其中的几种方法。
第一种方法是使用标定物体进行摄像机标定。
该方法需要摄像机拍摄带有已知尺寸的标定物体,例如固定尺寸的棋盘格或标尺。
通过测量图像中标定物体的像素坐标和已知尺寸,可以计算出摄像机的内外参数。
这个过程通常涉及到图像坐标和世界坐标的转换,以及通过最小二乘法进行参数求解。
第二种方法是使用棋盘格进行摄像机标定。
这种方法是比较常用且简单的一种标定方法。
首先,在摄像机拍摄的图像中绘制一个棋盘格,然后使用摄像机内参数和外参数将棋盘格的世界坐标与图像坐标建立对应关系。
通过采集多幅图像并测量每幅图像中的棋盘格角点的像素坐标,可以得到摄像机的内外参数。
这个过程通常使用角点检测算法来自动检测图像中的棋盘格角点。
第三种方法是使用角点进行摄像机标定。
这种方法也是比较常用的一种标定方法。
和使用棋盘格类似,该方法也是通过摄像机内参数和外参数将角点的世界坐标与图像坐标建立对应关系。
角点通常是由几条直线的交点或者是物体的尖锐边缘。
通过采集多幅图像并测量每幅图像中的角点的像素坐标,可以得到摄像机的内外参数。
这个过程通常也使用角点检测算法来自动检测图像中的角点。
除了上述几种常用方法,还有其他一些比较新颖的摄像机标定方法。
例如,基于模板匹配的方法可以在不需要标定物体的情况下估计摄像机的内外参数。
这种方法需要摄像机拍摄多幅图像,并在每幅图像中定位模板。
通过比较模板在不同图像中的位置,可以估计摄像机的内外参数。
此外,还有基于结构光的方法和基于手眼标定原理的方法等。
总之,摄像机标定是计算机视觉领域的一项重要任务,有多种不同的方法可供选择。
使用标定物体、棋盘格、角点等进行摄像机标定是常见的方法。
这些方法可以通过采集多幅图像并测量像素坐标,计算摄像机的内外参数。
计算机视觉中的摄像机标定方法_陈爱华
作者简介:陈爱华(1978-),男,福建莆田人,助教.计算机视觉中的摄像机标定方法陈爱华,高诚辉,何炳蔚(福州大学机械工程及自动化学院,福建福州 350002)摘要:摄像机标定在三维重建、运动分析以及机器导航等领域中得到了广泛的研究和应用.根据标定技术特点,将摄像机标定分为两大类:基于标定物的摄像机标定和摄像机自标定,介绍了这两大类中典型的摄像机标定方法,回顾了其发展过程,并对各种方法的标定特点以及求解方法进行了分析,最后对摄像机标定方法的未来发展进行了展望.关键词:计算机视觉;摄像机标定;摄像机模型;三维重建中图分类号:T P 387 Computer -vision -based camera demarcation m ethodCHEN Ai -hua ,GAO Cheng -hui ,HE Bing -wei(College of Mechanical Engin eering an d Automation ,Fuzhou University ,Fuzhou 350002,China )Abstract :Camera demarcation has been intensively applied for 3D model reconstruction ,kinematical analy sis and machine navigation .In the paper ,the camera demarcation technology is first classified into tw o cate -go rie s :i .e .the mark -based dem arcation and camera -centric demarcation .Subsequently ,the dem arcation characteristics and methods are interpreted based on relevant literature review .Finally ,some future directions are highlighted w ith regard to camera demarcation technology .Key words :computer vision ;camera dem arcation ;camera modeling ;3dimensional reconstruction 近20多年,摄像机标定已成为计算机视觉领域的研究热点之一,目前已广泛应用于三维测量、三维物体重建、机器导航、视觉监控、物体识别、工业检测、生物医学等诸多领域.所谓摄像机标定,就是从摄像机获取的图像信息出发,根据空间物体表面某点的三维几何位置与其在图像中对应点之间的相互关系,构建摄像机成像的几何模型,再经实验与计算得到空间环境中三维物体的位置、形状等几何模型参数(摄像机参数)的过程.从定义上看,摄像机标定实质上是确定摄像机内外参数的一个过程,其中内部参数的标定是指确定摄像机固有的、与位置参数无关的内部几何与光学参数,包括主点坐标(图像中心坐标)、焦距、比例因子和镜头畸变等;而外部参数的标定是指确定摄像机坐标系相对于某一世界坐标系的三维位置和方向关系,可用3×3的旋转矩阵R 和一个平移向量t 来表示.摄像机标定参数总是相对于某种几何成像模型,根据不同需要可建立不同的摄像机模型,一般将摄像机模型分为两大类[1,2]:一类是在标定中不考虑各种镜头畸变的线性模型,如针孔模型和直接线性变换模型[3,4],主要应用于镜头视角不大或物体在光轴附近的情况,是其他模型和标定方法的基础;另一类是非线性模型,是扩展的针孔模型,考虑了线性与非线性畸变的修正问题以获得较高的精度,主要应用于广角镜头的场合,如摄影测量法模型[5]、Tsai 模型[6,7]、Weng 模型[2]和双平面模型[8~10].第4卷第4期2006年10月中 国 工 程 机 械 学 报CH INESE JO URNAL OF CONSTRUCT ION MACH INERY Vol .4No .4 Oct .2006目前,基于上述摄像机模型的摄像机标定已在许多研究领域得到了广泛应用,满足了应用领域的精度、操作性和实时性等方面的要求,从而促进了其标定技术的研究和发展,使得摄像机标定领域学术思想活跃,出现了许多新技术、新方法.从广义上分,可将现有的摄像机标定技术分为两大类:基于标定物的摄像机标定法和摄像机自标定法.1 基于标定物的摄像机标定方法在标定过程中,基于标定物的摄像机标定方法都需要使用结构已知的标定参照物,通过建立标定参照物上三维坐标已知的点与其图像点的对应约束关系,利用一定的算法来确定摄像机模型的内外参数.根据标定参数的求解思想,大体上可分为三大类:线性变换法、非线性优化法和两步法.1.1 线性变换法线性变换法是在成像时不考虑任何的非线性补偿问题的情况下,建立了一组基本的线性约束方程来表示摄像机坐标系与三维物体空间坐标系之间的线性变换关系,采用鲁棒的最小二乘法来求解线性方程,获得投影矩阵M ,从而确定摄像机标定的内外参数.线性变换法通过求解线性方程来获得标定参数,其算法简单,运行速度快,但需求解的未知参数多,计算量大,其标定结果的正确性对噪声很敏感,影响了标定精度.主要应用在镜头视角不大或物体在光轴附近的场合,直接线性转换(DLT )[3]是应用最为广泛的线性标定方法.1.2 非线性优化法摄像机的非线性标定是在考虑摄像机成像中存在的非线性畸变的基础上,建立了标定点的空间三维坐标与图像点坐标的投影关系,采用迭代算法对非线性方程求解,从而获得求解摄像机的内外参数和非线性畸变系数.这种标定方法主要用在摄像机广角镜头的场合,摄影测量学的大多数经典标定方法[2,5,11,12]都属于这一类.这类方法的优点是考虑了所有的摄像机的非线性畸变,即可以选定任意的系统误差模型,因而如果提出的初始值估算模型比较好,而且能够很好地收敛时,可以达到很高的精度;其缺点是需要的计算量非常大,而且由于采用迭代算法,稳定性差,需选择合适的初始值才可获得有意义的解.为了解决这类方法所存在的问题,采用了各种求解优化方法:传统优化方法[2,5]、神经网络[13]和遗传算法[14]等,这些方法都极大提高了标定精度.1.3 两步法两步法是Tsai 于1986年首次提出的[6],介于传统的线性法和非线性优化法之间的一种灵活标定方法.该法将上述两种方法相结合,先采用解析方法直接线性计算部分参数,然后以这些参数作为非线性优化的初值,考虑畸变因素,对其余参数进行迭代优化,故称为两步法.该方法一方面克服了传统的线性模型的不足,考虑了镜头畸变,提高了标定精度,另一方面又通过解析法得到初值,从而减少了优化的次数,提高了运算速度,有稳定的解.1987年Tsai 又提出了利用共面点求取摄像机内外参数的两步法[7].该法考虑了镜头径向畸变,并假设图像的主点是在图像中心,利用共面点就可以标定出摄像机的大部分内外参数,相对以前需要立体标定物的传统标定法,实验条件和要求大大降低,主要适用于图像传感器图像平面为方形,且图像采集频率与图像传感器的驱动频率一致时的场合.该法第一步利用径向平行条件将摄像机的一部分待标定参数(摄像机的旋转参数R 和X ,Y 方向上的平移参数,称第一类参数)独立出来,通过解线性方程,得到它们的解.第二步对与径向畸变相关的其余标定参数(等效焦距、Z 方向上的平移参数和非线性畸变系数,称第二类参数)求解,先假设畸变为零,由线性方程组得到第二类参数的初始估计值,然后考虑畸变并以透视投影方程误差最小的准则做多次迭代运算将第二类参数进行非线性迭代优化求解,以使第二类参数的估值趋于精确,从而获得较高的标定精度.1990年J .Weng 在Tsai 模型的基础上提出了更为精确的非线性模型[2],将摄像机畸变分为径向畸变、离心畸变和薄棱镜畸变.基于两步法的思想,1998年张正友考虑径向畸变,提出了一种可以利用多幅平面模板标定摄像机所有内外参数的方法———平面标定法[15].该方法先假设标定模板在世界坐标系中Z =0,建立线性模型(针499 第4期陈爱华,等:计算机视觉中的摄像机标定方法 孔模型),由平面模板上每个特征点与其图像上相应的像点之间的对应点关系确定平面模板映射矩阵H ,采用线性分析法求出摄像机的内部参数,然后用奇异值分解[16]求出外部参数,最后考虑径向畸变,并基于极大似然准则对线性结果进行非线性优化.而后张正友又在文献[17]中首次提出了一种由一系列共线且彼此相对位置关系已知的标定点组成的一维物体标定法.该方法不需要昂贵的标定物,标定过程简单,易于操作,灵活性高,其标定算法与平面标定法一样.这两种方法都使用针孔模型,既具有较好的鲁棒性,又不需昂贵的精制标定块,推动了计算机视觉从实验室向实际应用的迈进,是适合应用的两种灵活的新方法,适用于具有广角镜头的多摄像机视觉系统.但它们还存在一些问题:需要从不同的角度拍摄多幅标定物的图像,需标定的参数较多;需要利用自标定理论中的绝对二次曲线原理来获得内参数的初始估计值,算法较繁琐.此外,还有一些特殊的标定技术:Martins [8],G .Wei [9,10]等提出了双平面标定法,还有提出了不需要任何摄像机几何模型而利用人工神经网络[18]、遗传算法[19]和统计方法[20]等方法来实现摄像机参数的标定.2 摄像机自标定法20世纪90年代初,S .J .May bank 和O .D .Faugeras 在文献[21]中首先提出了自标定的概念,使得在场景未知和摄像机运动任意的一般情况下在线、实时地标定摄像机参数模型成为可能.摄像机的自标定方法(self -calibration )克服了传统标定方法的不足,它不需要标定物,仅仅依靠多幅图像对应点之间的关系直接对摄像机进行标定.这种标定方法灵活性强,潜在的应用范围广,主要应用在精度要求不高的场合,如通讯、虚拟现实技术等.其最大的不足在于算法鲁棒性和稳定性都差,需要估计大量参数.2.1 基于基本矩阵和本质矩阵的标定方法在双摄像机的立体视觉中,设空间任意点Q 在两图像平面上的投影分别为q ,q ′,由光心C 和Q 形成的射线CQ 表示对于左图像平面来说点Q 的所有可能位置,它在右图像平面中的投影是极线l ′,即对应于左图像平面投影点q 的右图像平面点q ′一定在右图像平面的极线l ′上,这种几何关系即为极线几何约束[22,23].假设摄像机的成像模型为针孔模型,左摄像机坐标系为世界坐标系,由极线几何约束条件,可得两图像平面上对应点的关系表示如下:q T Fq ′=0,其中F =(A -1)T s (t )R -1(A ′)-1=(A -1)T E (A ′)-1(1)式中:q ,q ′分别为空间点在左、右图像平面上投影点q ,q ′的矢量坐标;矩阵F 为两个视图的基本矩阵(fundamental matrix ),表示任意两个视图间的双线性关系,包含了摄像机的内部参数和外部参数;A ,A ′为标定矩阵;s (t )为由平移向量t 元素构成的反对称矩阵;R 为旋转矩阵;矩阵E 为两个视图的本质矩阵(essential m atrix ),表示两个摄像机坐标系之间相对运动位置关系,包含了摄像机的外部参数.F 和E 是由Longuet -Higgins 首次引入的[24].在标定中,如果已知两图像平面上的7个对应点对,即可通过一个非线性算法确定基本矩阵F [25],但计算过程在数值上并不稳定.如果已知8个或8个以上非共面的对应点对,先对数值进行适当的规范化,再用简单且速度快的8点算法的线性方法获得超定的线性方程组,然后使用最小二乘法求解出基本矩阵的估值[26,27],最后由奇异值分解(SVD )得到基本矩阵F ,从而求出摄像机内部参数、本质矩阵E 和摄像机外部参数.2.2 基于Kruppa 方程的自标定方法O .D .Faugeras 等在文献[25]中首次使用Kruppa 方程来实现自标定,随后在摄像机自标定上得到进一步的研究[28~31].Kruppa 方程实质上表示了绝对二次曲线或绝对二次曲面在图像平面上成像满足极线约束条件,即假设绝对二次曲线Ψ在两个图像平面上分别成像为ω和ω′,两个极面Π1,Π2与绝对二次曲线Ψ相切,在两个图像平面上的极线也必须相应地相切于ω和ω′,这些约束用Kruppa 方程表示如下[28]:[e ′]×K ′[e ′]×∝FKF T (2)500 中 国 工 程 机 械 学 报第4卷 式中:e ′为第二个图像平面上的极点的矢量坐标;[e ′]×是与e ′的矢量乘积相关的斜对称矩阵;K ,K ′分别是绝对二次曲线在两图像平面上投影图像的矩阵,K =AA T ,A 为摄像机标定矩阵.式(2)是Kruppa 方程的一种表达,它将摄像机的内部参数(即绝对二次曲线的图像)与极线几何联系起来,提供了从极线几何约束求取摄像机的内部参数的途径.根据K ruppa 方程可以获得2个独立方程,而矩阵K 含有5个未知参数,如果两个摄像机具有相同的内部参数(常量)K =K ′,即可知至少需要3个基本矩阵(摄像机至少运动3次)就可以求解出K ,从而求解出摄像机的内部参数,至于摄像机的外部参数可以通过基本矩阵F 获得本质矩阵E 来求解.Kruppa 方程也可以用于摄像机的内部参数是可变的情况[30].虽然Kruppa 方程已在摄像机自标定中得到了广泛应用,但这种自标定方法存在许多问题:复杂的非线性问题,对噪声特别敏感;算法鲁棒性差,存在退化问题[32~34],如忽略了线性方法、不能约束绝对二次曲面具有相似的图像等.因而,这种自标定方法已渐渐被分级重构方法所替代.2.3 基于几何学层级的自标定方法目前,场景结构重建只是通过任意投影变换获得,如果要使之可视,需要通过几何变换由投影几何结构提升为欧氏几何结构.三维几何学可分成三个层级:投影几何学、仿射几何学和欧氏几何学,其中投影几何学是表达场景几何结构最简单最基本的方法,而欧氏几何学是最复杂最完整的[27,35].相应地,标定方法也分为三个阶段:投影标定(projective calibration )、仿射标定(affine calibration )和欧氏标定(euclidean cali -bration ).在双摄像机立体视觉系统中,如果已知基本矩阵F ,就可用投影标定实现场景的三维重构.仿射标定阶段是确定一个无穷远平面,并将其作为投影标定阶段的一个参考平面Πp ∞=[r T ∞ 1]T ,r ∞为Πp∞的矢量坐标,或者是结合无穷远映射H ∞和一个摄像机的极点e ~'来标定.欧氏标定阶段是将仿射标定和一个摄像机的标定矩阵A 结合起来,或者结合两个摄像机标定矩阵、两摄像机间旋转矩阵R 和按比例平移向量t .这三种阶段标定之间的转换矩阵如下:T a p ∝I 0r T ∞1,T e a ∝A 0r T ∞s ,T e p ∝A 0r T ∞As 式中:I 为由最简单的投影矩阵P =10000100010的前三列所组成的矩阵,P 是对应于规范化的摄像机坐标系的,其中摄取像机的特殊参数可以省略.在标定过程中,由摄像机标定可获得一系列投射投影矩阵:P 0p ∝I 0,P i p ∝Q i qi ,Q i 为由投射投影矩阵前三列所组成的矩阵;q i 为由投射投影矩阵最后一列所组成的矩阵(3×1).这种标定方法的核心问题在于寻找一个4×4非奇异矩阵T,使投射投影矩阵转换为欧氏投影矩阵:P 0e ∝A I 0,P i e ∝A R i t i ,转换关系表示如下:P i e ∝P i p T e p(3)分别取式(3)两边的矩阵前三列可得Q i A +q i r T ∞A ∝AR i (4)将式(4)两边同乘A -1,即得Q i +q i r T ∞∝AR i A-1∝H i ∞(5) 以上三个方程式都含有与Q i 和q i 对应点对相关的8个未知参数(标定矩阵A 有5个未知参数,r ∞有3个未知参数),是基于几何学层级自标定算法的基础.对于这种标定方法,摄像机内部参数(常量)的标定算法已在大量文献中提出[32,36~40].Hartley 在文献[36]中通过对式(4)左边进行QR (矩阵分解定理)分解化简,指出了标定矩阵A 的未知参数可以由映射矩阵H i ∞直接计算,而r ∞的未知参数只能得到它们的估值,为了约束r ∞的估值,Hartley 提出了cheirality 约束条件[41].而Pollefey [39]则利用modulus 约束条件[42]来实现投影重建升级到仿射重建,除了第一个视图外,每个视图就可以为r ∞提供一个约束条件,需要4个视图来获得r ∞的未知参数,一旦获得仿射层级,由501 第4期陈爱华,等:计算机视觉中的摄像机标定方法 H i ∞就可以求出摄像机的内部参数.另外,Hey den ,Astrom 在文献[38]中通过将式(4)的两边乘以各自的转置,从而消去未知参数R i ,使得方程两边的式子是对称的,除了第一个投影矩阵外每个投影矩阵就可以为8个未知参数提供5个方程,由三个视图就可以求解出唯一解.而对于内参数可变的摄像机自标定算法,Pollefeys 在文献[43]中较早地提出了这种方法来解决摄像机标定中焦距变化的问题,但它需要将纯平移运动作为两摄像机的初始状态.Heyden ,Astrom 则证明了当长宽纵横比已知且不考虑倾斜因子时,就可以实现内参数可变的摄像机自标定[44].随后,Pollefeys 在文献[45]中进一步指出了只要倾斜因子为零就可以实现内参数可变的摄像机自标定.此外,还有一些特殊的自标定方法:纯旋转运动标定法[46]、纯平移运动标定法[47]和平面运动标定法[48],这些方法仅从图像对应点进行,不需要标定物,但需要控制摄像机做某些特殊运动,比如围绕光心旋转或纯平移,利用这种运动的特殊性计算出摄像机的内部参数.3 结论与展望随着CCD 摄像机在成像分辨率、图像采样速率及计算机图像处理速度的提高,摄像机标定与图像畸变校正在摄影测量、视觉检测、计算机视觉等领域得到更为广泛的研究和应用.在摄像机标定过程中,需要建立摄像机成像的几何模型,从而实现从二维图像提取空间三维信息.根据不同的应用需求所建立的摄像机模型是不同的,所采用的摄像机标定方法也不同,摄像机几何模型直接影响了三维信息重建的精度.因此,设计并建立既符合摄像机成像物理模型而又便于分析计算的实用模型是提高摄像机标定技术的一个发展方向.基于标定物的摄像机标定技术目前已经较为成熟,在计算机视觉、三维重建等领域已得到了广泛应用.目前应用最为广泛的标定方法有Tsai 的两步法和张正友标定法.今后这类摄像机标定方法的研究可从这几个方面入手:(1)采用结构简单、便于操作的标定物(如一维[17])和标定系统(如Desktop [49])来简化标定过程.(2)开发简单快速且应用范围广的标定算法.(3)合理有效地确定非线性畸变校正模型的参数,选用合适的优化方法,来进一步提高标定精度.摄像机的自标定技术由于不需要已知准确的三维度量信息,只需从图像序列中得到的约束关系就可以计算出摄像机模型的参数,可以在线、实时地校准摄像机模型参数,其标定方法灵活性强,在研究领域和应用领域倍受青睐.但是,摄像机自标定方法不管以何种形式出现,均是基于绝对二次曲线(absolute con -ic )或者绝对二次曲面(absolute quadric )的方法,需要直接或间接地求解Kruppa 方程,存在着算法鲁棒性差、数据计算量大、非线性问题严重,对噪声非常敏感等问题.因此,探讨非线性问题的求解方法,在噪声的情况下提高解的稳定性、简化标定算法、提高标定精度等方面将是自标定技术领域研究的重点.目前基于三维重构分级的自标定技术得到了广泛的研究,这将积极推动特征提取、对应点匹配和多传感器数据融合等技术的研究.参考文献:[1] 马颂德,张正友.计算机视觉———计算理论与算法基础[M ].北京:科学出版社,1998.[2] W ENG J ,COHEN P ,HERNIOU M .C amera cal ib ration w ith distortion models and accuracy eval uation [J ].PAM I ,1992,14(10):965-980.[3] ABDEL -AZIZ Y I ,KARARA H M .Direct linear transformation into object space coordinates in close -range photogrammetry [C ]∥KARARA H M .Proceedings of the S ym posium on Close -Range Photogrammetry .Urbana :American Society of Photogrammetry ,1971:1-18.[4] LAVES T J M ,VIALA M ,DHOM E M .Do w e reall y need an accurate calibration pattern to achieve a rel iabl e camera cal ib ration [C ]∥HANS B ,BERND N .Proc of the 5th European Conference on Computer Vis ion .Berl in :Springer -Verl ag ,1998:158-174.[5] FAIG I W .Calibration of close rang photommetric s ystem :mathematical formulation [J ].Photogrammetric Engineering Remote Sensing ,1975.41(12):1479-1486.502 中 国 工 程 机 械 学 报第4卷 [6] TSAI R Y .An efficient and accurate camera calibration tech nique for 3D machine vis ion [C ]∥LOS A .Proc of IEEE Conference on Com put -er Vis ion and Pattern Recognition .W ashington :IEEE Computer Society ,1986:364-374.[7] TSAI R Y .A versatil e camera calibration technique for high -accuracy 3D machine vis ion metrology using off -the -shelf cameras and lenses[J ].IEEE Journal of Robotics and Automation ,1987,3(4):323-344.[8] M ARTINS H A ,BRIK J R ,KE LLEY R B .Camera models based no data from tw o calibration planes [J ].Computer Graphics and ImagingProcessing ,1981,17:173-180.[9] W EI G Q ,M A S D .T wo plane cal ib ration :a unified model [C ]∥GE RARD M .Proceedings of IEEE Conference on Computer Vision andPattern Recognition .Washington :IEEE Com puter Society Press ,1991:133-138.[10] WE I G Q ,MA S D .Implicit and expl icit camera calibration :theory and experiments [J ].PAM I ,1994,16(5):469-480.[11] BROWN D C .Decentering distortion of lenses [J ].Photogrammetric Engineering ,1966,32(3):444-462.[12] WONG K W .M athematical foundation and digital analysis in cl ose -range photogrammetry [J ].Photogrammetric Engineering &RemoteSens ing ,1975,41(11):1355-1373.[13] AHM ED M T ,FARAG A A .A neural optimization framework for zoom lens camera calibration [C ]∥DAVID K ,DAVID F .IEEE Com -puter Society Conference on Computer Vision and Pattern Recognition .Washington :IEEE Computer S ociety Press ,2000:403-409.[14] BOUCHOUICHA M ,KHELIFA M B ,PUECH W .A non -linear camera calibration w ith genetic algorithms [C ]∥SUVISOFT O L .Proc7th Int Symposium on Signal Processing and Its Applications .Paris :IEEE S ervice Center ,2003:189-192.[15] ZHANG Z .A flexible new technique for camera calibration [J ].IEEE Trans Pattern Analys is and M achine In telligence ,2000,22(11):1330-1334.[16] GOLUB G ,LOAN C V .M atrix computations [M ].3rd ed .Baltimore :The John Hopkins Univ Press ,1996.[17] ZHANG Z .Camera cal ib ration with one -dimensional objects [J ].IEEE Trans Pattern Analysis and M achine Intelligence ,2004,26(7):Pages 892-899.[18] S M ITH L N ,SM ITH M L .Automatic machine vision calibration us ing statistical and neural netw ork methods [J ].Image and Vis ion Com -puting ,2005,23:887-899.[19] J I Q ,ZHANG Y .Camera calibration w ith genetic algorithms [J ].IEEE T rans on System s ,M an ,and Cybernetics ,Part A :Systems andHumans ,2001,31(2):120-130.[20] CZAPLEWSKI R L .M isclas sfication bias in area estimates [J ].Photogramm Eng Remote S ensing ,1992,58(2):189-192.[21] M ANBANK S J ,FAUGE R AS O D .A theory of self -calibration of a moving camera [J ].International Journal of Computer Vision ,1992,8(2):123-151.[22] FAUGERAS O D ,LUONG Q .T he geometry of multiple images [M ].Cambridge M A :The M IT Press ,1993.[23] HART LEY R ,ZISSE RM AN A .M ultiple view geometry in computer vision [M ].Camb ridge ,UK :Cambridge University Press ,2000.[24] LONG UET -HIGGINS H C .A computer algorithm for reconstruction a scene from two projections [J ].Natu re ,1981,293(10):133-135.[25] FAUGERAS O D ,LUONG Q ,M aybank S .Camera sel f -calibration :theory and experiments [C ]∥SANDINI G .Proc 2nd European Con -ference on Computer Vision .Berlin :S pringer -Verlag ,1992:321-334.[26] HART LEY R .In defense of the eigh t -point al gorithm [J ].PAM I ,1997,19(6):580-593.[27] FAUGERAS O D .Three -dimensional com puter vision :a geometric view point [M ].Camb ridge ,M A :M IT Press ,1993.[28] ZELLER C ,FAUGERAS O D .Camera self -calibration from video sequences :the kruppa equations revisited [R ].R iviera ,France :INRI -A ,Sophia -Antipolis ,1996.[29] HART LEY R .Kruppa 's equations derived from the fundamental matrix [J ].PAM I ,1997,19(2):133-135.[30] LOURAKIS M ,DE RICHE R .Camera s elf -calibration using the kruppa equations and the svd of the fundamental matrix :the case of vary -ing intrins ic parameters [R ].Riviera ,France :INRIA ,Sophia -Antipolis ,2000.[31] HABED A ,BOUFAM A B S .Self -calibration of a simpl ified camera using kruppa equations [C ]∥IOANNIS R ,GREG M .1st CanadianConference on Compu ter and Robot Vision .W ashington :IEEE Computer Society Press ,2004:446-450.[32] TRIGGS B .Au tocalibration and the absolute quadric [C ]∥DEBORAH P ,IAN T .Proceedings of the 1997Conference on Computer Visionand Pattern Recognition .W ashington :IEEE Computer Society Press ,1997:609-614.[33] S TURM P .A case against kruppa 's equations for camera self -calibration [J ].IEEE T rans actions on Pattern Anal ysis and M achine Intelli -gence ,2000,22(10):1199-1204.[34] M A Y ,VIDAL R ,Kos ecka J ,et al .Kruppa equation revis ited :its renormalization and degeneracy [C ]∥DAVID V .Proceedings of the 6thEuropean Conference on Computer Vision .Dublin :Springer ,2000:561-577.[35] LUONG Q ,VIEVILLE T .Canonical representations for the geometries of multiple projective view s [J ].CVIU ,1996,64(2):193-229.[36] HARTLEY R I .Euclidean reconstruction from uncalibrated view s [C ]∥JOSEPH L M ,ANDREW Z ,DAVID A F .Proceedings of the Sec -ond Joint European -US Workshop on Applications of Invariance in Computer Vision .London :Springer -Verlag ,1994:237-256.[37] DEVERNAY F ,FAUGE RAS O D .From projective to euclidean reconstruction [C ]∥KATSUSHI I .Proc of IEEE Conference on Com put -er Vis ion and Pattern Recognition .W ashington :IEEE Computer Society Press ,1996:264-269.503 第4期陈爱华,等:计算机视觉中的摄像机标定方法 [38] HEYDEN A ,AS TROM K .Eucl idean reconstruction from constant intrinsic param eters .KATS US HI I .Proc International C onference onPattern Recognition .Washington :IEEE Computer Society Press ,1996:339-343.[39] POLLEFEYS M ,GOOL L V .A stratified approach to metric selfcalibration [C ]∥DEBORAH P ,IAN T .Proc International Conference onComputer View and Pattern R ecognition .Washington :IEEE Com puter Society Press ,1997:407-412.[40] BOUGNOUX S .From proj ective to euclidean space under any practical situation ,a criticism of selfcalibration [C ]∥DAVIS L .Proc of 6thInternational Conference on Computer Vis ion .Washington :IEEE Com puter Society Press ,1998:790-796.[41] HART LEY R I .Cheiral ity [J ].IJCV ,1998,26(1):41-61.[42] POLLEFEYS M ,GOOL L V ,OOST ERLINCK A .T he modul us constraint :a new constraint for selfcalibration [C ]∥YIANNIS A ,RUZENA B .Proc International Conference on Pattern Recognition .Washington :IEEE Com puter Society Press ,1996:31-42.[43] POLLEFEYS M ,GOOL L V ,PROES M ANS M .Eucl idean 3D reconstruction from image sequences with variable focal lengths [C ]∥BERNARD B .Proc European Conference on Computer Vision [C ].London :S pringer -Verlag ,1996:31-42.[44] HEYDEN A ,AS TROM K .Euclidean reconstruction from image s equences with varying and unknow n focal length and principal point [C ]∥DEBORAH P ,IAN T .Proc of the IEEE Conf on C omputer Vision and Pattern Recognition .W ashington :IE EE Computer S ociety Press ,1997:438-443.[45] POLLEFE YS M ,KOCH R ,GOOL L V .Self -calibration and metric reconstruction in spite of varying and unknow n internal camera parame -ters [J ].IJC V ,1999,32(1):7-25.[46] HART LEY R I .Self -calibration of stationary cameras [J ].IJCV ,1997,22(1):5-23.[47] M ANBANK S J ,FAUGE R AS O D .A theory of self -calibration of a moving camera [J ].International Journal of Computer Vision ,1992,8(2):123-151.[48] ARM S TRONG M ,ZISSERM AN A ,HART LEY R I .Self -calibration from image triplets [C ]∥BERNARD B .Proc 4th European Conf onComputer Vision .London :S pringer -Verlag ,1996:3-16.[49] COLOM BO C ,COM ANDUCCI D ,BIM BO A D .A desktop 3D scanner exploiting rotation and visual rectification of laser profiles [C ]∥LANGSTON M A .Proc of the 4th IEEE International Conference on Computer Vis ion S ystems .Washington :IEEE Computer S ociety Press ,2006:49-49.·下期文章摘要预报·基于键合图的物理模型降阶方法于 涛,曾庆良,李文杰 基于动态系统物理表达方式———键合图法,给出了物理模型降阶方法———模型降阶算法(M ORA ),对流经组件的功率流进行比较,以确定元件的活跃性及相对活跃性,据此对模型进行简化,并对M ORA 进行了改进,同时给出了低活跃性元件去除的物理解释.最后,对汽车的键合图模型进行了降阶.仿真结果证明,降阶后模型的动态特性与原模型动态特性高度吻合,证明基于物理的模型降阶算法是非常有效的.PC 机与MSP430单片机串行通信的实现方法张 琦,张 英 阐述了运用可视化编程语言Delphi 实现上位机与MSP430单片机之间RS232串行口通信的方法,并通过一个工程机械的故障诊断系统给出了详细的软硬件的实现方案,介绍了MSP430单片机的串行通信模块的原理及程序框图.该设计方案解决了工程机械的故障诊断系统中的串行通信问题.实际应用中,性能可靠,效果良好.504 中 国 工 程 机 械 学 报第4卷 。
计算机视觉中摄像机定标综述
计算机视觉中摄像机定标综述摘要:相机校准是与计算机视觉感知核心有关的最重要的研究。
从相机镜头视觉全息投影的基本原理出发,分析了计算机技术视觉中相机镜头校准的几种方法。
在计算机技术的视觉感知中详细介绍了相机镜头测量系统的几个方面。
该应用程序的最大功能在于揭示了相机在计算机视觉中校准其功能的能力。
关键词:计算机视觉;定标方法引言在当今计算机技术的飞速发展中,人们越来越依赖计算机。
计算机在人们的生活和工作中发挥着重要作用。
计算机中的各种应用层出不穷,并广泛用于各个领域。
计算机视觉在录像中的应用是相机的标定方法,具有很大的参考价值。
由于相机拍摄效果的要求,相机会不断更新和更新。
相机校准方法是相机研究领域中非常关注的主题。
1原理透镜成像技术的物理原理是利用自身光线的斜射现象。
由视觉全息投影产生的小型照相机的原理与透镜的原理相似,只是为了使图像更清晰,更好地满足人们的生活需求并更改一些关键细节。
视觉全息摄影机的拍摄原理是将各种镜头的光学设备的基本原理用于人类视觉成像技术。
有许多不支持的科学理论,包括镜头,镜头焦距和宏观视角。
ISO感光度意味着镜头的焦距非常接近。
对于相机,它是指从镜头中心到相机镜筒的距离,或者是从成像位置到相机镜头焦距的距离。
只有调整前后距离,才能充分保证相机良好的成像质量,同时也保证了相机的正常工作。
其他任务的第一个元素。
个人的视角应该是镜头的无限焦距主要取决于镜头光圈的大小。
专业摄影师通过改变中断发生的光圈来改变其他任务的形状和大小,使改变人们视觉感官的效果达到最佳。
对于拍摄相同距离的目标,镜头的焦距越大,相机的水平视角越窄。
这样做的结果是,拍摄目标的范围越小,拍摄效果就越受到损害,从而给相机带来了不利的使用优势,因此,当两者达到更好的组合时,有必要充分利用相机效果,并最大程度地提高了相机的美感,因此可以看出,在计算机视觉中进行相机校准的方法将为相机的拍摄效果带来巨大的变化。
2定标方法2.1三维立体摄像机的成像通常是三维的,并且图形在每个实体表面上都经过细化,以达到最终效果。
计算机视觉中摄像机标定精度评估方法
计算机视觉中摄像机标定精度评估方法《计算机视觉中摄像机标定精度评估方法》摄像机标定(camera calibration)是计算机视觉中的重要环节,关系到图片的质量,是确定图片的世界坐标与像素坐标的关系的过程,是一个非常复杂的过程。
由于每一个摄像机都有其摄像机内参数,因此,开展摄像机标定是必须的。
摄像机标定精度的评估是摄像机标定的一个重要环节,也是检验摄像机标定结果的重要手段。
摄像机标定精度评估一般可以采用以下几种方法。
一、重投影误差法重投影误差法,也叫误差拟合法,是将实际的观测坐标与重投影模型的观测坐标之间的误差用回归法拟合,以获得总体的标定精度。
重投影误差法适用于误差分布满足正态分布和均值为0的原理。
它的优点是能有效的提取出标定系统的整体参数,对误差概率分布有一定要求,但该方法受实际质量影响较大,当误差分布不满足设定的条件时,结果不可靠。
二、多旋转法多旋转法是根据摄像机标定参数的某种随机变换模型,来评估标定精度。
它的基本原理是,当标定结果输出后,首先应用一组随机旋转向量对标定参数进行改变,再将改变后的参数带入标定系统中将原图片重投影,如果重投影结果与实际观测值偏差不大的话,则说明标定精度是比较可靠的。
多旋转法的优点是,无论误差分布是正态分布还是非正态分布,它都能够很好的反映标定系统的整体参数,且根据实际情况,可以采用任意的旋转模型,但它的缺点是,标定结果依赖于随机旋转向量的产生,且旋转向量的取值范围较为复杂。
三、迭代收敛法迭代收敛法通过反复迭代,计算出迭代结果与真实结果之间的偏差,从而评估摄像机标定精度。
它的优点是不受误差分布形态的影响,能很好的反映标定系统的整体参数,而且容易理解和实现;缺点是,结果受运算器的影响较大。
标定精度评估是计算机视觉中一个重要环节,在评估标定结果之前,应了解标定的原理,以及采用哪种评估方法,以及怎样评估,才能得出准确的标定精度评估结果。
机器视觉中的摄像机定标方法综述
机器视觉中的摄像机定标方法综述吴文琪,孙增圻(清华大学计算机系智能技术与系统国家重点实验室,北京100084)摘要:回顾了机器视觉中的各种摄像机定标方法,对各种方法进行介绍、分析,并提出了定标方法的发展方向的新思路。
关键词:机器视觉;摄像机定标;三维重建;镜头畸变中国法分类号:TP387文献标识码:A文章编号:1001-3695(2004)02-0004-03Overvie w of Camera Calibration Methods for Machine VisionWU Wen-qi,SUN Zeng-qi(State Key L aborato ry o f Intellige nt Tec hnology&Syste ms,Dept.o f Co mpute r Science&Technology,Tsinghua Universit y,Bei jing100084,China)Abstract:In this paper,themethods for camera calibration are reviewed,anal yzed and compared.Furthermore,the develop ment of the camera calibration is discussed.Key w ords:Machine Vision;Camera Calibration;3D Reconstruction;Lens Distortion1引言在机器视觉的应用中,如基于地图生成的视觉、移动机器人的自定位、视觉伺服等的应用中,从二维图像信息推知三维世界物体的位姿信息是很重要的。
目前已经出现了一些自定标和免定标的方法,这些方法在比较灵活的同时,尚不成熟[1],难以获得可靠的结果。
通过摄像机的定标重建目标物三维世界目标物体仍然是重要的方法。
摄像机定标在机器视觉中决定:(1)内部参数给出摄像机的光学和几何学特性% %%焦距,比例因子和镜头畸变。
计算机视觉中摄像机定标综述
计算机视觉中摄像机定标综述
摄像机定标是计算机视觉中的一个重要问题,它旨在确定摄像机
的内部参数和外部参数。
内部参数包括焦距、主点位置、畸变系数等;而外部参数则包括摄像机在空间中的位置和朝向。
摄像机定标通常包
括两个步骤:标定和重建。
标定是指在已知一些已知深度的世界坐标系点时,通过摄像机捕
获的图像坐标来推导出摄像机内部和外部参数的过程。
标定中通常采
用的方法是通过对图像中已知世界坐标系点和对应的图像坐标进行计算,推导出摄像机的内部参数和外部参数。
主要的标定方法包括直接
线性变换(DLT)方法和基于优化方法的非线性标定方法。
重建则是指将摄像机拍摄的图像恢复成在真实世界中的实际坐标,这是基于相机的内部参数和外部参数的过程。
重建中通常采用的方法
是三角测量,即通过计算图像中点的位置和已知的相机内外参数,推
导出点在真实世界中的位置。
摄像机定标是计算机视觉和计算机图形学领域中的一个重要问题,它在计算机视觉领域中扮演着至关重要的角色。
例如,在三维重建、
虚拟现实、增强现实和机器视觉等领域中,摄像机定标是一个必要的
步骤。
机器视觉相机标定具体方法步骤
机器视觉相机标定具体方法步骤
机器视觉相机标定是一项重要的任务,它能够提高相机成像的精度和稳定性。
下面是一些机器视觉相机标定的具体方法步骤:
1. 收集标定数据:在标定过程中,需要使用一些已知的特征点,比如棋盘格或者圆点板,拍摄一些不同角度、不同方向的图像,以此来获取标定所需的数据。
2. 初始相机参数估计:在进行标定之前,需要对相机的内参和外参进行一个初步的估计。
这个过程可以通过观察相机的镜头参数来完成。
如果相机的参数已知,则可以跳过这一步。
3. 提取特征点:使用图像处理算法在图像中提取出特定的特征点,常用的算法有SIFT、SURF等。
这些特征点将被用于计算相机的内部参数和外部参数。
4. 计算内部参数:使用已知的特征点和相机的初始参数,计算相机的内部参数,包括焦距、主点位置和畸变系数。
5. 计算外部参数:使用已知的特征点和相机的内部参数,计算相机的外部参数,包括相机在空间中的位置和方向。
6. 优化参数:使用优化算法对计算得到的内部参数和外部参数进行优化,以提高相机成像的精度。
7. 验证标定结果:将标定后的相机应用于实际场景中,观察成像效果,如果达到了预期效果,则标定成功,否则需要重新调整参数并重新进行标定。
以上就是机器视觉相机标定的具体方法步骤。
标定的过程需要耐
心和精确,但标定结果将会对相机的成像质量产生重要的影响。
计算机视觉中摄像机标定精度评估方法
计算机视觉中摄像机标定精度评估方法
一、论文介绍
本文主要探讨了摄像机标定精度评估方法在计算机视觉领域的应用。
摄像机标定是视觉系统的基础工作,其精度直接影响视觉系统的性能。
文章提出了一种新颖的方法,即通过采用虚拟摄像机模型和标定抽样技术,以及采用视觉测量计算机视觉系统相机标定精度的方法,实现了准确评估摄像机标定的精度。
文章还提出了一种新的校准方法,以确保标定精度可以满足视觉系统的要求。
本文提出的方法被证明可以可靠地评估出计算机视觉系统中摄像机标定精度,提升视觉系统的性能和可靠性。
二、论文分析
本文介绍了一种评估计算机视觉系统中摄像机标定精度的新方法,包括采用虚拟摄像机模型和标定抽样技术,以及采用视觉测量计算机视觉系统相机标定精度的方法来实现这一目的。
此外,还提出了一种新的校准方法,以确保标定精度可以满足视觉系统的要求。
通过研究文章可以发现,虚拟摄像机模型和标定抽样技术提供了一种新的思路,实现了准确评估计算机视觉系统的摄像机标定精度的方法。
这种新方法不仅可以提高视觉系统的性能,而且可以提高计算机视觉系统的可靠性,使计算机视觉领域的应用更加完善。
总的来说,本文提出的摄像机标定精度评估方法在计算机视觉领域的应用具有重要的意义,可以为计算机视觉系统的研究提供新的思路和方法。
计算机视觉中的摄像机定标方法及应用特点
计算机视觉中的摄像机定标方法及应用特点摘要:基于摄像机视觉投影原理,分析了计算机视觉中的摄像机所用到的几种定标方法,并着重介绍了计算机视觉中的摄像机定标方法的应用特点,向人们揭示出计算机视觉中的摄像机定标功能的神秘面纱,以供相关人员借鉴和运用。
关键词:计算机视觉;定标方法;应用特点0引言计算机技术的应用在诸多领域占据了主要位置,并得到了人们的极大重视。
在此形势下,摄像机的高清晰度亦成为了人们追逐的目标,而在计算机视觉中的定标方法有各种不同的处理方式,从而为摄像机的发展提供了一个绝好的机会。
由此,计算机视觉中的摄像机定标方法成为当今世界摄像机研究领域里至关重要的一个方面,以摄像机得到的图像信息作为出发点来计算三维空间中自然场景的几何信息成为计算机视觉的基本任务之一,并且它的应用特点也得到了人们的密切关注。
1摄像机视觉投影原理透镜成像的原理利用了光的折射现象,而摄像机的视觉投影原理和透镜的成像原理相差无几,只不过在一些细节上进行了相应的改变,使成像更加清晰,以更好地满足人们的需求。
摄像机视觉投影原理就是利用镜头的光学原理进行视觉成像,而其中又有许多理论支持,包含镜头与焦距和视角。
焦距是指镜头的焦点之间的距离,对于摄像机而言,就是指从镜头的中心位置到摄像管,也可以说是成像的位置之间的距离就是摄像机镜头的焦距,只有调整好了这两者之间的距离,才能保证摄像机的摄像效果,这也是保证摄像机正常工作的首要任务。
视角要受到镜头焦距的限制,由镜头焦距对摄像的大小情况而决定,摄影师们就是通过对焦距的不断变换来改变对任务的造型,从而改变人们的视觉效果。
对于拍摄相同距离的目标而言,镜头焦距越大,摄像的水平视角就会变得越窄,这样带来的后果就是拍摄到的目标的范围就越小,使得拍摄效果大打折扣,从而给摄像机带来不利的使用效益。
因此,必须在两者达到一个较好的组合效果之时,才能够充分发挥摄像机的作用,并将摄像艺术发挥到极致。
由此可见,计算机视觉中的摄像机定标方法将会给摄像机的拍摄效果带来巨大的转变。
计算机视觉中的摄像机定标方法及其应用特点探讨
计算机视觉中的摄像机定标方法及其应用特点探讨摘要在计算机视觉这种发展迅速、生命年轻的学科领域中,摄像机定标是其重要且基础的研究课题之一,随着计算机视觉实际运用领域的不断加深扩展,对于摄像机定标的要求也逐步提高。
本文从对计算机视觉的解析入手,引入摄像机定标方法,通过传统的摄像机机定标方法和摄像机自定标方法的分析与对比,对这两种方法进行研究和探讨,从而来挖掘二者的各自优缺点。
其中,本文着重介绍了传统摄像机定标方法中的三维立体靶标的摄像机定标等和摄像机自定标方法中的基于主动视觉的自定标法等定标方法的运用,论述了这些摄像机定标方法的应用特点。
希望有关人员加以借鉴和参考,针对计算机视觉中的摄像机定标方案作出深入的研究,从而更加全面地了解这些方法的具体应用特点,推动整个摄像机定标方法的进步和发展。
关键词计算机视觉;摄像机定标方法;应用特点;线性关系;参照物中图分类号:TP391 文献标识码:A 文章编号:1671—7597(2013)022-067-3计算机视觉中的摄像机定标方法总得来说可以分为两类——传统的摄像机定标法和摄像机自定标法。
为了能够使所获取的场景更加自然,计算机视觉系统可以通过运用摄像机定标方法,加之合理安排摄像机和计算机这两种成像装置,来对二维的图像信息进行虚拟空间的三维建模,进而控制整个摄像效果。
这其中摄像及内部的一些参数起到了很大的作用,最初在计算机视觉中都是采用的传统摄像机定标方法,但是这种方法存在着一定的局限性。
这种定标方法在摄像机随意运动和未知场景的安排下很难进行有效的标定。
随着计算机视觉中的摄像机定标方法的不断进步和发展,以及摄像机自定标方法的诞生,使得这项技术逐渐获得了相对广泛的应用。
1 计算机视觉中与摄像机定标解析计算机视觉的基本任务是采集一定数量的图片或视频资料并进行处理,以此来获得相应场景环境下的的三维信息。
而这些三维信息与图像、视频对应点的相互关系需要通过摄像机的几何模型来决定,经过计算分析得出这些几何模型参数的过程即为摄像机定标。
计算机视觉中摄像机定标综述
第26卷 第1期2000年1月自 动 化 学 报A CT A A U T OM A T ICA SI NI CA V o l.26,N o.1Jan.,2000综述与评论计算机视觉中摄像机定标综述邱茂林(中国科技大学北京认知科学开放研究实验室 北京 100039)马颂德 李 毅(中国科学院自动化研究所模式识别国家重点实验室 北京 100080)摘 要 回顾了摄影测量学和计算机视觉中的各种摄像机定标方法,对各种方法进行了分析、比较、并讨论了摄像机定标方法应用于计算机视觉中的特点.关键词 计算机视觉,摄像机定标,摄影测量学,立体视觉,三维重建.OVERVIEW OF C AMERA CALIBRATION FORCOMPUTER VISIONQ IU M aolin(Beij ing O p en L ab o f Cog n itive S ciences ,Un iversity of S ciences an d Technology of Chin a ,Bei j ing 100039)M A Song de LI Yi(N ational L ab of P attern R ecog nition ,Institute of A utomation ,Chin ese A cademy of S cien ces B eij ing 100080)Abstract In t his paper t he camera calibrat ion methods in photogrammertry and com-put er vision are reviewed,categorized and compared wit h.Feat ures of t he applicat ion of camera calibrat ion met hods in comput er vision are discussed.Key words Computer vision,camera calibrat ion,phot ogrammert ry,st ereo vision,3D reconst ruct ion.收稿日期 1997-08-06 收修改稿日期 1999-03-051 引言计算机视觉的基本任务之一是从摄像机获取的图像信息出发计算三维空间中物体的几何信息,并由此重建和识别物体,而空间物体表面某点的三维几何位置与其在图像中对应点之间的相互关系是由摄像机成像的几何模型决定的,这些几何模型参数就是摄像机参数.在大多数条件下这些参数必须通过实验与计算才能得到,这个过程被称为是摄像机定标.由于在摄影测量学方面也存在着同样的问题,早年在这个方向已经取得了很多研究44自 动 化 学 报26卷成果.对于计算机视觉而言,考虑到摄像机定标在理论和实践中的重要价值,学术界在最近10余年来进行了广泛的研究,基于不同的出发点和思路取得了一系列成果,对于不同的问题背景它们都有其各自的应用价值.我们认为,对现有的各种方法进行总结、比较和分类,以揭示它们之间的相互关系,是一项有意义的工作.摄像机定标技术早就应用于摄影测量学[1~3].摄影测量学中所使用的方法是数学解析分析的方法,在定标过程中通常要利用数学方法对从数字图像中获得的数据进行处理.通过数学处理手段,摄像机定标提供了专业测量摄像机与非量测摄像机的联系.而所谓的非量测摄像机是指这样一类摄像机,其内部参数完全未知、部分未知或者原则上不稳定.摄像机的内部参数指的是摄像机成像的基本参数,如主点(图像中心)、焦距、径向镜头畸变、偏轴镜头畸变以及其它系统误差参数.对于计算机视觉研究而言,在利用计算机技术实现对三维景物的描述、识别和理解这一任务时,CCD摄像机是对物理世界进行三维重建的一种基本测量工具,这时摄像机定标被认为是实现三维欧氏空间立体视觉的基本而又关键的一步.总体来说,其计算方法与摄影测量学中所使用基本相同[3].这些问题在计算机视觉中得到了进一步研究,这是因为计算机视觉中的问题与摄影测量学中的问题相比,有着显著不同的特点:1)计算机视觉系统中使用CCD摄像机作为价格低廉的非量测摄像机.摄像机参数未知或者不稳定,从而导致成像过程不稳定,并且CCD摄像机数字化图像分辨率低,存在量化误差,存在较大的非线性镜头畸变.2)计算机视觉中所测量的一般为近景,为了使系统小巧,两摄像机之间的基线长度不可能很长,从而使得系统计算误差较大.3)在计算机视觉中,进行三维重建需要大数量的图像点,有时要求实时地处理数据并给出结果.此外,不同的应用背景也对定标技术提出了不同的要求.在立体计算机视觉中,如果系统的任务是物体识别,则物体相对于某一个参考坐标系的绝对定位显得并不特别重要,更重要的是物体特征点间相对位置的精度.举例来说,在一个基于CAD的物体识别系统中,所研究的物体上的特征的相对位置必须具有足够高的精度,才能进行有效的匹配和识别.如果系统的任务是物体的定位,相对于某一个参考坐标系的绝对定位精度就特别重要.例如,在一个自主车辆导航系统中.自主式移动机器人必须准确地知道其自身的位置、工作空间中障碍物的位置、以及障碍物的运动情况,才能有效地、安全地进行导航.CCD 摄像机的上述特点和应用问题的要求使得定标技术、精度和实时性等问题的研究显得特别重要,同时也导致了研究成果的多样性.摄像机参数总是相对于某种几何成像模型的,这个模型是对光学成像过程的简化,比如最常用的针孔模型,它是摄像机定标研究的基本模型.然而很多情况下这种线性模型不能准确描述摄像机成像的几何关系,如在近距、广角时的情形,因此还需要考虑线性或非线性的畸变补偿后,才能更合理地看作针孔模型成像过程.利用校正后的模型进行三维重建才能得到更高的精度.因此成像模型和畸变补偿成为计算机视觉中摄像机定标研究的重点.上述这些内容构成了传统摄像机定标研究的主要问题.其基本方法是,在一定的摄像机模型下,基于特定的实验条件如形状、尺寸已知的定标参照物,经过对其图像进行处理,利用一系列数学变换和计算方法,求取摄像机模型的内部参数和外部参数,大致有基于单帧图像的基本方法和基于多帧已知对应关系的立体视觉方法.另一种重要的应用背景是,在很多情况下,由于存在经常性调整摄像机的要求,而且设置已知的定标参照物也不现实,这时就需要一种不依赖定标参照物的所谓摄像机自定标方法,成为目前摄像机定标研究的重点.总的来看,现有的摄像机定标技术大体可以归结为两类:传统的摄像机定标方法和摄像机自定标方法.2 传统的摄像机定标方法从计算思路的角度上看,传统的摄像机定标方法可以分成四类,即利用最优化算法的定标方法,利用摄像机变换矩阵的定标方法,进一步考虑畸变补偿的两步法和采用更为合理的摄像机成像模型的双平面定标方法.文[4]中按照求解算法的特点将它分为直接非线性最小化方法(迭代法)、闭式求解方法和两步法,也不失为一种好的划分方法.2.1 利用最优化算法的摄像机定标方法这一类摄像机定标方法的优点是,可以假设摄像机的光学成像模型非常复杂,包括成像过程中各种因素.然而由此带来的问题是:1)摄像机定标的结果取决于摄像机的初始给定值,如果初始值给得不恰当,很难通过优化程序得到正确的定标结果.2)优化程序非常费时,无法实时地得到定标结果.2.1.1摄影测量学中的传统方法文[5]的定标方法是这一类定标技术的典型代表.他考虑了摄像机成像过程中的各种因素,精心设计了摄像机成像模型.对于每一幅图像,利用了至少17个参数来描述其与三维物体空间的约束关系,计算量非常大.由于引进的参数比较多,并使用了特殊的专业量测像机(其所摄取的照片的分辨率比普通的固态成像感光阵列高4倍以上),在图像投射和三维重建时取得了很高的精度.对于Faig [5]所使用的方法,我们还要提及注意的一点是,他利用的约束条件是针孔摄像机模型的共面约束条件.他所使用的方法实际上是一种自定标方法.我们要指出这一点的原因是,摄像机自定标技术的讨论也是本文的一个重要内容.2.1.2直接线性变换方法(DLT )直接线性变换方法是Abdel -A ziz 和Karara 首先于1971年提出的[1].通过求解线性方程的手段就可以求得摄像机模型的参数,这是直接线性变换方法的吸引力之所在.然而这种方法完全没有考虑摄像机过程中的非线性畸变问题,为了提高定标精度,非线性最优化算法仍不可避免.正如Karara 自己所指出的那样,当我们首先提出直接线性变换方法时,我们给出了一组基本的线性约束方程,用来表示摄像机坐标系与三维物体空间坐标系之间的线性变换关系,没有考虑成像时任何的非线性补偿问题并将相应的参数引入约束方程.然而到后来,直接线性变换方法改进扩充到能包括这些非线性因素,并使用非线性的手段求解时,直接线性变换方法这个术语却没有改变.这段说明指出了直接线性变换方法具有两种含义,一种含义是直接通过求解一组线性方程得到摄像机的有关参数;另一种含义是求解的过程不排除使用非线性优化算法.451期邱茂林等:计算机视觉中摄像机定标综述直接线性变换方法是对摄影测量学中的传统方法的一种简化.尽管从得到的直接线性变换矩阵可以求取摄像机的内部参数和外部参数,但也可以不必这样做.与摄影测量学中的传统方法相比,更符合计算机视觉中应用问题的要求和所使用的CCD 摄像机的特点,成为连接摄影测量学的计算机视觉之间的桥梁.两个领域都可以使用直接线性变换方法对摄像进行标定.直接线性变换方法所使用的模型是u =x w l 00+y w l 01+z w l 02+l 03x w l 20+y w l 21+z w l 22+l 23,v =x w l 10+y w l 11+z w l 12+l 13x w l 20+y w l 21+z w l 22+l 23,其中(x w ,y w ,z w )是三维物体空间中控制点的坐标,(u ,v )是图像上对应于三维控制点的图像点的坐标,l ij 是直接线性变换方法的待定参数.不失一般性,我们可以令l 23=1.如果知道N (N >5)个标准参照物的控制点的坐标(x w ,y w ,z w )及其对应的图像上的坐标(u ,v ),11个参数就可以用线性最小二乘算法计算.当不考虑摄像机成像过程镜头的非线性畸变时,直接线性变换方法可以划分为我们下面将要讨论的一类定标方法.当考虑非线性畸变时,直接线性变换方法中图像点与三维空间中控制点的对应关系则是u i + u i (u i ,v i )=u ~i =x wi l 00+y wi l 01+z w i l 02+l 03x wi l 20+y wi l 21+z w i l 22+l 23,v i + v i (u i ,v i )=v ~i =x wi l 10+y wi l 11+z w i l 12+l 13x wi l 20+y wi l 21+z w i l 22+l 23在这里,(x wi ,y w i ,z w i )是标准参照物上的控制点坐标,且(u i ,v i )是标准参照物上控制点对应的实际图像坐标.这些图像点利用数字图像处理技术获得.(u ~i ,v ~i )是校正后的图像点坐标. u i (u i ,v i )和 v i (u i ,v i )是在图像点(u i ,v i )处的镜头畸变校正.由此我们可以看出,在直接线性变换方法中,非线性畸变因素的引入是非常方便的.Dainis 和Juberts 在文[6]中给出了利用直接线性变换方法进行摄像机定标的结果,他们的系统是为了准确的测量机器人的运动轨迹.该系统能够实时地测量出机器人的运动轨迹,但并不要求定标算法对系统的标定是实时的.2.2利用透视变换矩阵的摄像机定标方法从摄影测量学中的传统方法可以看出,刻划三维空间坐标系与二维图像坐标系关系的方程一般说来是摄像机内部参数和外部参数的非线性方程.如果忽略摄像机镜头的非线性畸变并且把透视变换矩阵中的元素作为未知数,给定一组三维控制点和对应的图像点,就可以利用线性方法求解透视变换矩阵中的各个元素.严格来说,基于摄像机针孔模型的透视变换矩阵方法与直接线性变换方法没有本质的区别,而且透视变换矩阵与直接线性变换矩阵之间只相差一个比例因子.基于两者都可以计算摄像机的内部参数和外部参数.46自 动 化 学 报26卷这一类定标方法的优点是不需利用最优化方法来求解摄像机的参数.从而运算速度快,能够实现摄像机参数的实时的计算.缺点是:1)定标过程中不考虑摄像机镜头的非线性畸变,定标精度受到影响;2)线性方程中未知参数的个数大于要求解的独立的摄像机模型参数的个数,线性方程中未知数不是相互独立的.这种过分参数化的缺点是,在图像含有噪音的情况下,解得线性方程中的未知数也许能很好的符合这一组线性方程,但由此分解得到的参数值却未必与实际情况很好地符合.利用透视变换矩阵的摄像机定标方法被广泛应用于实际的系统,并取得了满意的结果[7~10].Ganapathy 在文[11]中首先给出了一个由透视变换矩阵求解摄像机内部参数和外部参数的方法,并对分解过程作了详细的分析.2.3两步法摄影测量学中的传统方法要使用最优化算法求解未知参数,求解的结果常常取决于给定的初始值.如果初始值给定不合适,就很难得到正确的结果.直接线性变换方法或者透视变换矩阵方法可以利用线性方法求解摄像机参数,其缺点是没有考虑镜头的非线性畸变、精度不高.如果先利用直接线性变换方法或者透视变换矩阵方法求解摄像机参数,再以求得的参数为初始值,考虑畸变因素,并利用最优化算法进一步提高定标精度,这就形成了所谓的两步法[4,12].Tsai [4]在他的论文中所使用的是典型的两步法.在他的方法中,CCD 阵列中感光元的横向间距和纵向间距被认为是已知,其数值是靠摄像机厂家提供的.他所假设的摄像机内部和外部参数分别是:1)f 等效焦距;2)k 1,k 2镜头畸变参数;3)s x 非确定性标度因子,它是有摄像机横向扫描与采样定时误差引起的;4)(C x ,C y )图像中心或主点;5)t 三维空间坐标系与摄像机坐标系之间的旋转矩阵和平移向量.Tsai 的两步法基于以下几点观察,参照图1.图1 平行性约束1)假设摄像机镜头的畸变是径向的,无论畸变如何变化,从图像中心点O i 到图像点471期邱茂林等:计算机视觉中摄像机定标综述(x d ,y d )的向量O i P d 的方向保持不变,且与P oz P 平行.如图1所示,P oz 是光轴上的一点,其Z 坐标与物点在摄像机坐标系下的坐标值相同;2)等效焦距f 对x d 和y d 产生同样的影响,所以f 的大小不影响向量O i P d 的方向;3)当世界坐标系沿着x 和y 轴放置和平移,使得在每一点有O i P d 平行于P oz P ,然后坐标系沿着z 方向平移时,对x u 和y u 的影响相同,从而向量O i P d 的方向保持不变;4)在每一点处向量O i P d 与P oz P 的约束条件与径向畸变表达式的系数、等效焦距、三维空间平移向量t 的z 分量无关.这一约束条件对于确定三维空间的旋转矩阵R 、从三维世界坐标系到摄像机坐标系平移向量的x 和y 分量、非确定性标度因子s x 是充分的.Tsai 说明了上面的平行约束条件对参数的确是很有利的.它不仅对唯一的确定外部参数和内部参数中的标度因子s x 是充分的,而且对这些参数的求解归结为求解具有五至七个参数的线性方程.Tsai 的方法只考虑了径向畸变,没有考虑切向畸变.在文[12]中同时考虑了切向畸变,并给出了相应的算法,是对两步发的重要发展,此外,他的工作还提出了定标精度的分析方法.2.4双平面定标方法研究人员在传统摄像机定标研究的另一方向也作了深入的探讨.这就是寻找更合理的摄像机模型,使之更全面、更有效地表示CCD 摄像机实际成像过程.M artins 等首先提出了双平面模型(tw o -plane model)[13].马颂德和魏国庆[22,23]在利用双平面模型标定摄像机参数方面做了大量的研究工作[14~16].这种方法的优点是利用线性方法就可以解有关参数;缺点是要求解大量的未知参数,存在过分参数化的倾向.双平面模型与针孔模型的基本区别在于,双平面模型不像针孔模型那样要求所有投射到面像平面上的光线必须经过光心.给定成像平面上的任意一个图像点,便能够计算出两个定标平面上的相应点,从而确定了投射到成像平面上产生该图像点的光线.双平面模型示于图2中.图2 双平面模型对每一个定标平面,利用一组定标点建立彼此独立的插值公式.虽然插值公式是可逆的,但其逆过程需要一个搜索算法,所以所建立的模型一般只用于从图像到定标平面的映射过程.在文[13]中,提出了三种插值方法:线性插值、二次插值和线性样条插值.线性近似时,定标平面上相应点坐标表示成图像点坐标的线性组合.计算公式为p i =A i ×L , i =1,2.这里L =(u ,v ,1)T 是图像点的齐次坐标;p i =(x i ,y i ,z i )T 是第i 个定标平面上的相应点;A i 是一个3×3的回归参数矩阵.要确定所有的参数值,对于每一个平面应该知道至少三点.当已知N (N >3)个定标点时,A i 可以利用最小二乘技术求解,求解公式为A =P L T (L L T )-1,48自 动 化 学 报26卷其中P 和L 是3×N 阶矩阵,其第j 列分别是向量p i 和L i 所对应的第j 个定标点.在一般情况下,A i 总共有18个特定参数.当两个定标平面平行于X Y 平面时,两个回归参数矩阵的第三行具有(0,0,z i )的形式,故此未知数目减至12个.利用两次插值对两个定标平面进行二阶近似,p i =A i Q , i =1,2.Q =(u 2,v 2,uv ,u ,v ,1)T ;P i =(X i ,Y i ,Z i )T是第i 个定标平面上的相应点;A i 是一个3×6的回归参数矩阵.要确定所有的参数值,对于每一个平面应该至少知道6点.当已知N (N >6)个定标点时,A i 同样可以利用最小二乘技术求解.与第一种情况相似,在一般情况下,总共有36个待定参数.当两个定标平面平行于X Y 平面时,两个回归参数矩阵的未知参数数目可以减少24个.使用线性样条插值近似两个定标平面时,定标点越多,近似结果就越准确.对于每一个线性样条平面近似时至少需要三个点.每三个相邻的最近点定义一个插值平面.对每一个近似插值平面的求解与第一种情况相似.马颂德和魏国庆在他们的文章中[22,23],通过对成像过程的分析,并考虑了镜头畸变因素,提出了利用下式作为从图像到两个定标平面的回归模型并进行实验验证,该方法的优点是全部非线性模型参数可以用线性方法求解.X k =∑0≤i +j ≤3a (1)ij u j k v j k ∑0≤i +j ≤3a (3)ij u j k v j k , Y k =∑0≤i +j ≤3a (2)ij u j k v j k ∑0≤i +j ≤3a (3)ij u j k v j k , k =1,2.(1)3 摄像机自定标方法在小孔模型下,摄像机自定标可以在三个层次上进行.在对外参数一无所知的条件下,即对空间结构不作任何假设,摄像机的运动也不能量化描述,这时的定标只能给出投影矩阵M ,而不能从中分解出摄像机内外参数,这是射影意义下的定标.如果假设成像深度足够大,即满足平行投影条件,这是可以进行仿射意义下的定标,其结果是由无穷远点引入的同形(Ho mog raphy)矩阵.如果能精确得到摄像机运动的外参数,投影矩阵的分解就可能是唯一的,这时可以得到摄像机内参数,这是最理想的自定标.关于这个问题的详细论述请参阅文[17],本节我们讲述目前自定标研究的几种主要结果.3.1利用本质矩阵和基本矩阵的摄像机定标方法假设摄像机的光学成像模型为针孔模型,基本矩阵所定义的是基于两幅图像上点的对应关系的基本几何约束关系.这个基本的几何约束关系表示如下:m T 2Em 1=0,(2) 其中E =TR 称为本质矩阵,R 是旋转矩阵,T 是由平移向量元素构成的斜对称矩阵,它们描述了两个摄像机坐标系之间的位置关系.本质矩阵是由Long uet -Hig gins 教授首先引入的[18].因为本质矩阵只包含摄像机外部参数信息,即两个摄像机坐标系之间相对运动关系,所以根据本质矩阵能够求得摄像机的外部参数.这就是所谓的通过点对应求运动的(M o-491期邱茂林等:计算机视觉中摄像机定标综述tio n fro m point matches)问题.O.D.Faug eras和S.Maybank在文[19]中详细地分析了M otion from point matches 问题的解的性质,证明了该问题的多解性.他们通过代数几何和传统射影几何两种途径给出了此问题解的性质的证明.记本质矩阵为E,则矩阵E满足下列关系:det(E)=0,12tr(EE T)E-E E T E=0. 由上式得到九个三次多项式方程.这九个多项式方程是线性独立的,它们定义了矩阵E的一个代数流形M.在给定5对对应点时,M的维数是5,度数是10,E的解的最大个数是10.在给定足够多对对应点时,E的解的最大个数是3.假设摄像机的内部参数是f x,f y,u0,v0,图像点P1和P2的齐次坐标分别是u1=(u1 v1)T和u2=(u2 v2 1)T,则方程(3)的向量m1和m2可以表示成m1=A-1u1, m2=A-1u2.(3),(4)这里A=f x0u0 0f y v0 001. 把方程式(3)和(4)代入方程(2),则有u T2Fu1=0,(5)其中F=A-T E A-1(6)就是基本矩阵.可见,基本矩阵不仅包含了摄像机的外部参数信息,而且也包含了摄像机的内部参数信息.求得基本矩阵后,由此可以进一步求解内部参数或者外部参数或者两者.另外,基于基本矩阵也可以求取外极线变换的参数[19~21].3.2 利用绝对二次曲线和外极线变换性质的摄像机定标方法文献[19,20]对利用绝对二次曲线和外极线变换性质的摄像机定标方法进行了研究,其主要思想如下:Kruppa方程[20]将外极线变换与绝对二次曲线 的图像联系起来.仍然是摄像机成像平面上的二次曲线,其确定了摄像机的内部参数.Kruppa方程提供了从外极线变换求取摄像机的内部参数的途径,而这些外极线变换与摄像机的运动相联系.为了确定绝对二次曲线 的图像,摄像机必须至少运动三次、求得三个外极线变换.绝对二次曲线是无穷远平面上的一个特殊的二次曲线,其与空间的欧氏性质紧密相关.在射影空间P3的笛卡尔坐标系下,绝对二次曲线 的方程是x21+x22+x23=0, x4=0. 绝对二次曲线 在刚体运动下不变的性质,使得其图像与摄像机的方位无关.它只决定于摄像机的内部参数矩阵A.摄像机从位置a移动到位置b,k是连接a处到b处摄像机光心的连线,P和P′是与此次运动相联的外极点.实际上,外极点P和k在第一个成像平面上的投影;外极点P′是50自 动 化 学 报26卷k在第二个平面上的投影.!是过k的任一平面,其在第一个成像平面和第二个成像平面上的投影分别为l和l′.外极线变换定义了一个从经过P的直线到经过P′的直线的一个同形(hom ogr aphy),且满足上面定义的l和l′的对应关系.符号∀-表示同形对应,例如l∀-l′.由于摄像机成像平面上的 的图像与摄像机的位置无关,如果平面!与绝对二次曲线 相切,则!在两个成像平面上的投影1和1′都与相切.由此进一步我们可以得到,经过P与相切的两条切线通过外极线变换和经过P′与相切的两条线对应.与相切的外极线相对应这个条件给出了两个约束关系,它们将外极线变换与图像联系起来.Kruppa方程是这两个束关系的代数形式描述.在第一个像平面上使用射影坐标(y1,y2,y3).利用外极线与定直线y3=0相交的关系可以把相应的外极线参数化.设〈p,y〉为过点P和y的一条外极线,任意一点X落在〈p,y〉上当且仅当(p×y) X=0.又设D是二次曲线的对偶二次曲线,根据D的定义,〈p,y〉与相切当且仅当它落在这条二次曲线上,即(p×y)T D(p×y)=0,(7)其中D的定义为D=-#23#3#2#3-#13#1#2#1-#12.(8)上式一共含6个参数,由确定D时存在一个比例因子.如果把这个标度因子也考虑在内,D有5个自由度.令y3=0并将(8)式代入(7)式,有A11y21+2A12y1y2+A22y22=0,(9)其中A11=-#13p23-#12p22-2#1p2p3,A12=#12p1p2-#3p23+#2p2p3+#1p1p3,A22=-#23p23-#12p21-2#2p1p3.(10) 同样,根据摄像机第二个成像平面上的外极线〈p′,y′〉与图像相切约束关系可以得到一个与(9)式类似的约束关系:A′11y′21+2A′12y′1y′2+A′22y′22=0,(11)其中系数的计算关系式也与(1)式相类似.外极线变换规定了一个从直线y3=0到直线y′3=0的一个双线性变换N.如果y= (y1,y2,0)T且y′=(y1,y2,0)T,则〈p,y〉∀-〈p′,y′〉成立,当且仅当y′=N y.令∃=y2/y1,∃′=y′2/y′1,则双线性变换N可表示为∃′=a∃+b.c∃+d.(12)已知两个外极点p,p′(关于利用对应点求取外极点的问题请参阅文献[19~21])和一组对应点q i q′i,1≤i≤n,利用∃i=p3q i2-p2q i3p3q i1-p1q i3, ∃′i=p′3q′i2-p′2q′i3p i3q′i1-p′1q′i3,(13)并对方程(12)应用最小二乘技术,即可求得参数a,b,c,d.511期邱茂林等:计算机视觉中摄像机定标综述。
视觉摄像机标定方法总结
DLT变换
Abdal-Aziz和Karara于70年代初提出了直接 线性变换像机定标的方法,他们从摄影测量 学的角度深入的研究了像机图像和环境物体 之间的关系,建立了像机成像几何的线性模 型,这种线性模型参数的估计完全可以由线 性方程的求解来实现。
DLT变换
直接线性变换是将像点和物点的成像几何关系在齐次坐标下 写成透视投影矩阵的形式:
Xw Xw u Y Y K R t w P w s v 34 Zw Zw 1 1 1
其中 u, v,1 为图像坐标系下的点的齐次坐标, X w , Yw , Z w 为 世界坐标系下的空间点的欧氏坐标, P 为 3 4 的透视投影矩 阵,s 为未知尺度因子。
像机模型
(x, y) ( u, v ) 理想图像坐标到数字图像坐标的变换 (只考虑径向偏差) ( uc , v c )
( x uc )(1 k1 ( u2 v 2 )) u uc ( y vc )(1 k1 ( u2 v 2 )) v vc
(u, v)为一个点的数字化坐标,(x, y)为理想 的数字化坐标,(uc, vc)为畸变中心。
由 cos 2 1 cos 2 2 cos 2 3 1
3.2、R. Tsai 的 RAC的定标算法
简 介
80年代中期Tsai提出的基于RAC的定标方法是计 算机视觉像机定标方面的一项重要工作,该方 法的核心是利用径向一致约束来求解除 t z(像 机光轴方向的平移)外的其它像机外参数,然 后再求解像机的其它参数。基于RAC方法的最大 好处是它所使用的大部分方程是线性方程,从 而降低了参数求解的复杂性,因此其定标过程 快捷,准确。
计算机视觉中摄像机定标综述
计算机视觉中摄像机定标综述摘要:本文通过对计算机视觉原理进行分析,提出了计算机视觉中摄像机的定标方法,并分析了计算机视觉中摄像机的定标方法的应用。
abstract: this paper puts forward the camera calibration method in computer vision, through analysis of principle of computer vision, and analyzes the application of camera calibration methods in computer vision.关键词:计算机;视觉;摄像机;定标key words: computer;visual;camera;scaling中图分类号:tp391.4 文献标识码:a 文章编号:1006-4311(2013)24-0193-020 引言在计算机技术快速发展的今天,人们越来越依赖于计算机,计算机在人们的生活工作中占有重要的地位。
计算机中的各种应用层出不穷,广泛应用在各个领域,计算机视觉在摄像中的应用为摄像机定标方法提供了巨大的参考价值。
由于人们对摄像机拍摄效果的要求,使得摄像机在不断改革更新,摄像机的定标方法是摄像机研究领域备受关注的话题。
计算机视觉中摄像机的定标方法是摄像机研究领域所推崇的,它受到了研究人员的高度重视。
计算机视觉中摄像机的定标方法呈现出了高质量的摄像效果,极大地满足了人们对摄像机摄像效果的要求。
1 计算机视觉投影原理计算机视觉投影原理是利用光的折射现象,把视觉中呈现的影像投射到摄影机的屏幕上,形成了固定的图像。
在计算机视觉中摄影机的成像原理就是利用光的感应,通过对摄像机的焦距进行调整,确定拍摄目标在摄像机镜头中的位置,然后利用光的折射形成固定的图像。
在进行摄像时调整焦距是非常关键的,焦距就是镜头与目标之间的距离,这两者距离的远近决定了摄像的效果。
摄像机标定方法综述
摄像机标定方法综述摄像机标定是指将图像中的像素坐标与真实世界中的三维物体坐标相对应的过程。
摄像机标定在计算机视觉和机器视觉领域中广泛应用,比如目标识别、目标追踪、立体视觉等任务。
下面将就几种常用的摄像机标定方法进行综述。
1.直接线性变换(DLT)方法:直接线性变换是最早提出的摄像机标定方法之一、该方法通过摄像机拍摄具有已知三维坐标的物体,并通过图像中物体投影的像素坐标计算出摄像机内部的参数(如焦距和像素坐标系原点等)和外部参数(如摄像机的旋转和平移矩阵)。
DLT方法的精度受到图像中噪声和非线性畸变的影响,因此通常需要进行非线性优化。
2.张正友标定方法:张正友标定方法是基于经典的DLT方法而改进的一种摄像机标定方法。
该方法通过使用多个摄像机拍摄一组模板图案(如棋盘格),并根据图案在图像中的投影计算出摄像机的内外参数。
该方法克服了DLT方法的不足,可以有效地降低标定过程中的误差。
张正友标定方法已经成为摄像机标定的事实标准。
3.陈氏标定方法:陈氏标定方法是一种基于棋盘格划分的摄像机标定方法。
该方法相比于其他标定方法更具鲁棒性,能够处理大部分图像畸变,包括径向畸变和切向畸变。
陈氏标定方法不依赖于特定的图案设计,可以适用于各种不同形状和规模的棋盘格标定板。
此种标定方法能得到相对准确的摄像参数。
4.光束投影法:光束投影法也是一种常用的摄像机标定方法。
光束投影法通过摄像机对多个光束的拍摄,利用光束在三维空间中的重合关系来计算摄像机的内外参数。
光束投影法具有较高的精度和计算效率,可适用于复杂场景中的标定问题。
5.基于结构光的标定方法:结构光标定方法是一种基于投影的摄像机标定方法。
该方法使用一个激光投影仪将结构光(如条纹或网格)投影到摄像机视野中的物体上,然后通过分析图像中的结构光变形情况计算出摄像机的内外参数。
该方法具有较高的精度和稳定性,可适用于复杂环境下的标定。
以上介绍了几种常用的摄像机标定方法,每种方法都有其适用的特定场景和优缺点。
摄像机标定方法综述
摄像机标定方法综述摘要:首先根据不同的分类方法对对摄像机标定方法进行分类,并对传统摄像机标定方法、摄像机自标定方法等各种方法进行了优缺点对比,最后就如何提高摄像机标定精度提出几种可行性方法。
关键字:摄像机标定,传统标定法,自标定法,主动视觉引言计算机视觉的研究目标是使计算机能通过二维图像认知三维环境,并从中获取需要的信息用于重建和识别物体。
摄像机便是3D 空间和2D 图像之间的一种映射,其中两空间之间的相互关系是由摄像机的几何模型决定的,即通常所称的摄像机参数,是表征摄像机映射的具体性质的矩阵。
求解这些参数的过程被称为摄像机标定[1]。
近20 多年,摄像机标定已成为计算机视觉领域的研究热点之一,目前已广泛应用于三维测量、三维物体重建、机器导航、视觉监控、物体识别、工业检测、生物医学等诸多领域。
从定义上看,摄像机标定实质上是确定摄像机内外参数的一个过程,其中内部参数的标定是指确定摄像机固有的、与位置参数无关的内部几何与光学参数,包括图像中心坐标、焦距、比例因子和镜头畸变等;而外部参数的标定是指确定摄像机坐标系相对于某一世界坐标系的三维位置和方向关系,可用3 ×3 的旋转矩阵R 和一个平移向量t 来表示。
摄像机标定起源于早前摄影测量中的镜头校正,对镜头校正的研究在十九世纪就已出现,二战后镜头校正成为研究的热点问题,一是因为二战中使用大量飞机,在作战考察中要进行大量的地图测绘和航空摄影,二是为满足三维测量需要立体测绘仪器开始出现,为了保证测量结果的精度足够高,就必须首先对校正相机镜头。
在这期间,一些镜头像差的表达式陆续提出并被普遍认同和采用,建立起了较多的镜头像差模型,D.C.Brown等对此作出了较大贡献,包括推导了近焦距情况下给定位置处径向畸变的表达式及证明了近焦距情况下测得镜头两个位置处的径向畸变情况就可求得任意位置的径向畸变等[2]。
这些径向与切向像差表达式正是后来各种摄像机标定非线性模型的基础。
- 1、下载文档前请自行甄别文档内容的完整性,平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益,请联系客服反馈,我们会尽快为您处理(人工客服工作时间:9:00-18:30)。
机器视觉中的摄像机定标方法综述吴文琪,孙增圻(清华大学计算机系智能技术与系统国家重点实验室,北京100084)摘要:回顾了机器视觉中的各种摄像机定标方法,对各种方法进行介绍、分析,并提出了定标方法的发展方向的新思路。
关键词:机器视觉;摄像机定标;三维重建;镜头畸变中国法分类号:TP387文献标识码:A文章编号:1001-3695(2004)02-0004-03Overvie w of Camera Calibration Methods for Machine VisionWU Wen-qi,SUN Zeng-qi(State Key L aborato ry o f Intellige nt Tec hnology&Syste ms,Dept.o f Co mpute r Science&Technology,Tsinghua Universit y,Bei jing100084,China)Abstract:In this paper,themethods for camera calibration are reviewed,anal yzed and compared.Furthermore,the develop ment of the camera calibration is discussed.Key w ords:Machine Vision;Camera Calibration;3D Reconstruction;Lens Distortion1引言在机器视觉的应用中,如基于地图生成的视觉、移动机器人的自定位、视觉伺服等的应用中,从二维图像信息推知三维世界物体的位姿信息是很重要的。
目前已经出现了一些自定标和免定标的方法,这些方法在比较灵活的同时,尚不成熟[1],难以获得可靠的结果。
通过摄像机的定标重建目标物三维世界目标物体仍然是重要的方法。
摄像机定标在机器视觉中决定:(1)内部参数给出摄像机的光学和几何学特性% %%焦距,比例因子和镜头畸变。
(2)外部参数给出摄像机坐标相对于世界坐标系的位置和方向,如旋转和平移。
在机器人的视觉应用中,目标物位姿信息获取通常有一定的精度要求,机器人视觉系统的性能很大程度上依赖于定标精度。
随着计算机性能的快速提高,低价位CCD摄像机的大量使用,计算机定标方法也得到了不断的改进。
2摄像机模型摄像机的投影几何模型可以看作这样一个过程,把三维世界透视投影到一个球面(视球),然后把球面上影像投射到一个平面P,理想情况下,平面P关于光轴中心对称。
从图像中心点出发到投射平面点的距离r(A)与光轴夹角A的关系有五种模型,每种都有其自己有用的特性[2]。
其成像简图如图1所示。
图1成像简图2.1透视模型透视模型公式为r(A)=k tan A理想状况下可以等价为小孔成像。
许多最近的算法和判断不同算法的优劣的依据都是基于这个假设。
但是,透视投影只是表示了视球的前半部。
要是不在光轴的附近,物体的形状和密度都会发生畸变。
这种模型符合人的视觉感受,理想情况下,直线投影仍为直线。
透视模型在定标方法中被广泛采用,在视角不大的镜头情况下比较符合实际情况。
在视角比较大时,透视模型通过对镜头畸变进行校正来修正模型。
根据镜头光学成像原理,畸变的模型为Dx(x,y)=k1x(x2+y2)+(p1(3x2+y2)+2p2xy)+s1(x2+y2)Dy(x,y)=k2x(x2+y2)+(p2(3x2+y2)+2p1xy)+s2(x2+y2)式中,D x,D y是非线性畸变值,D x,D y的第一项称为径向畸#4#计算机应用研究2004年收稿日期:2002-11-18;修返日期:2003-03-22变,第二项称为离心畸变,第三项称为薄棱镜畸变,其中k1,k2,p1,p2,s1,s2称为非线性畸变参数。
并不是引入较多的参数就一定能提高模型的精度[3]。
如果只考虑径向畸变,可以写成x c=x(1+k1r2)y c=y(1+k2r2)其中,x c,y c为理想无畸变情况下的图像坐标值。
212立体图投影模型立体图投影模型为r(A)=k tan(A/2)Fleck等认为这种投影模型是更好的更广泛适用的模型[2]。
它的特征是,球形物体经过立体图投影后,仍然保持球形。
理想的立体图投影模型只有三个自由度(图像中心和焦距),而且,小物体的形状不会由于其所处视野的位置发生变化。
目前,从这个模型出发的标定方法并不多见。
其他投影模型有等距投影、等立体角投影和Sine法则投影等。
3标定方法有很多方法进行标定,已有的方法大体上可以分为三种类型:线性标定,非线性标定和两步标定。
(1)线性标定线性方法通过解线性方程获得转换参数。
算法速度快但是没考虑摄像机镜头的畸变问题)))未知数的数目通常比实际自由度要大,由于这种冗余,实际的中间参数的约束不满,而且最终结果的正确性是显著噪声敏感的。
由于比较简单,直接线性转换(DL T)在线性标定方法中是应用最为广泛的。
(2)非线性标定非线性方法使用大量的未知数和大范围的非线性优化。
非线性模型越准确,计算代价越高。
这样可以补偿镜头畸变允许采纳更为复杂的映像模型。
但是,算法的迭代本质需要良好的初始估计。
并且,如果迭代过程设计不恰当的话,尤其在高扭曲的条件下,优化过程可能不稳定。
这些技术包括:Faig.s方法[4]、Sobel标定系统[5]、Gennery立体视觉标定方法[6]和Paque tte方法[7]等等。
(3)两步标定两步标定方法包括用解析解得到多数标定参数和用迭代解获得其他一些参数。
Tsai[8]使用径向校准约束来获得外部参数和焦距的线性解。
迭代方案又用来估计处理径向畸变的相关的三个参数,有效的焦距、平移向量的深度组元。
Sid-Ahmed[9]考虑了径向和切向畸变, Wen提出了一种CCD立体视觉的非线性畸变模型,考虑了主要的摄像机畸变来源,如径向、离心和薄棱镜畸变[10]。
也有一些其他的特殊标定技术:Martins[11]使用两平面方法,Fishler和Ballas[12]提出了一种几何方法,也有提出不用任何具体模型用人工神经网络[13]和统计方法[14]来解决问题的。
基于透视模型的方法主要有以下几种:(1)Tsai方法(TS)基于切向畸变相对径向畸变可以忽略的假设,TS方法可以在考虑镜头畸变的情况下计算摄像头内外部参数。
在这种方法中,可以不同的方式安装摄像头,使用单目非共面点作为计算的依据[15]。
(2)Faugeras-Toscani方法(F T)这种方法不考虑镜头畸变,摄像头由四个参数来描述:两个焦距参数,一个用于考虑不同分辨率的图像平面轴的参数和图像中心。
这种模型无须知道像素间距,虽然这种方法得到的信息可以转换为相应的TS方法的参数[16]。
(3)Martins的两平面方法这种方法不明确地使用摄像机模型,它用世界坐标系下的视线,定义的视线从工作场景前后两个平面出发,到图像上某点的连线。
给定空间的标定点以及其图像上的对应点,用插入方法可计算出两张图,插入的方法是:对于每个图像上的点,在前平面和后平面上定义两个对应的点,来定义视线向量。
在这种方法中,考虑用局部插入,图像用顶点和标定格交点一致的三角形标画,然后在三角形内线性样条插值[17]。
(4)Pollastri方法(PL)这种方法不考虑镜头畸变,其目标是根据其他摄像机参数独立地算出图像中心Cx,C y和焦距f[18]。
(5)Caprile-Torre方法(CT)这种方法考虑了镜头的畸变,它是基于没影点的性质来计算的,如果没影点和空间三个互相垂直的方向已经给定,那么顶点在没影点的三角形的重心与图像的中心相对应。
内部参数用设计的一个含有三个正交系表面画有平行线正方体计算得到。
与三个坐标系相对应的没影点用来计算Cx,C y和焦距f[19]。
(6)张正友方法这是一种适合应用的一种新的、灵活的方法。
这种方法虽然也是使用针孔模型,但是它的具体标定是在自标定与摄影测量标定之间的一个妥协方法。
这种标定方法既具有较好的鲁棒性,又不需昂贵的精制标定块,推动了计算机视觉从实验室向实际应用的迈进。
该方法假设标定用平面图板在世界坐标系中Z=0,通过线性模型分析计算得出摄像机参数的优化解,然后用基于最大似然法进行非线性求精。
在这个过程中标定出考虑镜头畸变的目标函数,最后求出所需的摄像机#5#第2期吴文琪等:机器视觉中的摄像机定标方法综述内、外部参数[20]。
目前,基于立体图投影模型应用的方法比较少。
Daniel E.Ste venson等提出的非参数畸变校正的方法使用了这个模型,他们使用一些大小不等的小黑木球,根据立体图投影的特性,通过图像处理获得图像椭圆,并使用Delaunay三角划分法,最后获知每个划分三角的理想输出比例,从而完成对图像的校正[21]。
4发展与展望定标方法从不同的模型出发有不同的方法,适当地根据镜头应用情况采用不同的模型是提高定标精度,提高算法效率的重要途径。
随着广角镜CCD摄像机的广泛使用,计算机性能的大幅度提高,广角镜的定标、镜头畸变校正有相当大的研究价值和使用价值。
张正友方法是近年来应用较为广泛的一种比较成熟的方法。
由线性模型入手的方法来说,这种方法简单、方便、可靠。
无须具备计算机视觉和3D图形学知识就可以应用,把三维计算机视觉从实验室推进到实际应用。
张正友方法在进行线性内外参数估计时,由于假定此时模板图像上的直线经透视投影仍然为直线,进而进行图像处理,获得亚像素精度的点坐标,实际上引入了误差,所以在广角镜畸变比较大的情况下,经实验,校正效果偏差比较大。
我们认为,对于广角镜的标定方法,若能先进行畸变校正,然后利用简单线性模型进行参数估计,求得摄像机内外参数,将可能获得应用更为广泛的摄像机定标方法。
设计新的比较符合摄像机成像物理模型而又便于分析计算的实用模型是条另辟蹊径的发展方向。
立体图模型由于其自身的特点使得广角镜的定标方法中的应用具有相当大的发展潜力,我们设想利用立体图模型,经过适当的图像处理方法,首先一定程度上纠正镜头畸变和相应参数,而后使用线性模型进行摄像机定标方法是可行的,尤其在广角镜甚至鱼眼镜头的定标中取得良好的效果。
参考文献:[1]S Bougoux.From Projective to Euclidean Space under any Pract-ical Situation,a Criticism of Sel-f calibration[C].Proceedings ofthe6th International Conference on Computer Vision,1998.790-796.[2]Fleck Margaret M.Perspective Projection:The Wrong ImagingModel[Z].TR95-01,CS,U.Iowa,1995.[3]马颂德,张正友.计算机视觉)))计算理论与算法基础[M].北京:科学出版社.59-61.[4]W Faig.Calibration of Close-range Photogrammerty Systems:Mathematical Formation[J].Photogramm.Eng.Remote Seris.,1975,41(12):1479-14861[5]L Sobel.On Calibrati on Computer Controlled Cameras for Per-ceiving3D Scenes[J].Arti f.Intel,1974,(5):185-1981[6]G B Gennery.Stereo-camera Calibration[C].Proc.Image Under-standing Workshop,19701101-1081[7]L Paquette,R Stamp fler,W A Davis,et al.A New Camera Ca-libration M ethod for Robotic Vision[C].Proc.SPIE,Int.Soc.Opt.Eng.,1990.658-663.[8]R Y Tsai.An Efficient and Accurate Camera Calibration Tech-nique for Recognition[C].Miami,FL.,1986.364-374.[9]M A Sid-Ah med,T B Mohamed.Dual Camera Calibration for3-D Machine Vision Metrology[J].IEEE Trons.Instrm.Meas,1990,(39):512-516.[10]Weng J,P Cohen,M Herni ous.Calibration of Stereo CamerasUsing a Nonlinear Distortion Nodel(CCD Sensory)[C].Proc.10th In t.conf.Pattern Recogni tion,1990.246-253.[11]H A Martins,J R Birk,R V Kelly.Camera Calibration Basedon Data from Two Calibrati on Plames[J].Comp ut Grap h Image Processing,1981,17:173-180.[12]M Fishler,R Ballas.Random Sample Consensus:A Paradi gmfor Model Fi tting with Applications to Image Analysis and Au to-mated Cartography,Common,Assoc[J].Comput,24:381-395.[13]J Wen,G Sch wei tzer.Hybrid Calibration of CCD Cameras UsingArtgificial Neural Nets[C].1991IEEE,Int.Joint Conf.Neural Networks,1991.173-180.[14]R L Czaplewski.Misclassfication Bias in Area Es timates[J].Photogramm Eng.Remote Sensing,1992,58(2):189-192. [15]R Tsai.A Versatile Camera Calibration Technique for High Ac-curacy3D Machine Vision Metrology Using of-f the-shelf tv Cameras and Lenses[R].Research Report51342,IB M T.J.Watson Research Center,Yorktown Heights,NY10598,1985.[16]O Faugeras,G Toscani.The Cali bration Problem for Stereo[C].puter Vision,1990.127-140.[17]H A Martins,J R Birk,R B Kelley.Camera Models Based onData from Two Calibration Planes[J].Comp.Vi sion Graphics and Image Proc.,1981,(17):173-180.[18]F Pollastri.Metodo Per La Misura Della Posizione Del Punto Fo-cale in Unsistema Diripresa Di Imma Gi ni[Z].Patent n.67782-S/89,1989.[19]B Caprile,V ing Vanishing Points for Camera Calibra-tion[J].Int.Journal of Computer Vision,1990,(4):127-140 [20]Z Zhang.A Flexible New Technique for Camera Calibration.Technical Report MSR-TR-98-71,M icrosoft Research,Dec 1998.Available Together with the Software[EB/OL].http:///~zhang/Calib/.[21]Daniel E Steven,M argaret M Fleck.Nonparametric Correction ofDistortion Application of Computer Vision[C].WACV.96,Pro-ceedings3rd IEEE Workshop on,1996.214-219.作者简介:吴文琪(1975-),男,硕士研究生,研究领域为机器人视觉和图像处理;孙增圻(1943-),男,教授,博士生导师,清华大学计算机系学术委员会主任,主要研究领域为机器人、智能控制、神经网络及模糊系统等。