机器人视觉系统标定问题研究综述_田梦倩

收稿日期:2005-05-18

基金项目:江苏省自然科学基金资助项目(BK2002405)作者简介:田梦倩(1971-),女,副教授,研究领域为机电控制及自动化、机器人技术。

机器人视觉系统标定问题研究综述

田梦倩

(东南大学机械工程系,江苏南京210096)

摘要:在视觉反馈机器人的控制中,摄像机的标定是一个基本的、重要性的问题。该文首先对摄像机的成像模型进行分析,明确了视觉系统标定的主要任务,然后从离线标定和在线标定两方面阐述了相关的研究思路和方法,为机器人视觉系统的研究提供了参考。

关键词:机器人;视觉反馈;摄像机标定;离线标定;在线标定

中图分类号:TP242.6+

2 文献标识码:A 文章编号:100020682(2006)022*******

A survey of ca li bra ti on i n a v isi on 2robot system

TI A N M eng 2qian

(D ept of M echanical Engineering ,Southeast U niversity,J iangsu N anjing 210096,China )

Abstract:Ca mera calibrati on is a basic and crucial p r oble m in the field of r obot contr ol with visi on feedback .The paper analyses the i m age 2for m ing model of a ca mera t o decide how t o calibrate its main pa 2ra meters and then discusses the relevant methods according t o s ome different criteria,which are classified int o off 2line calibrati on and on 2line calibrati on .

Key words:r obot;visi on feedback;ca mera calibrati on;off 2line calibrati on;on 2line calibrati on

0　引言

智能机器人是装备有某些类似人的感觉装置,具有感觉识别、判断功能,能根据周围环境的变化,按规则调整自己动作的机器人。在人的众多感觉中,视觉是人最重要的感官之一。因而,机器人视觉定位、视觉导引、视觉伺服也是智能机器人领域的研究热点之一。视觉反馈机器人可以广泛地应用在工业中的焊接、装配、搬运;工件表面质量、几何形状的测量;微电子器件的自动检测;空间技术中的交会对接、卫星回收等各种场合[1]

。这些应用能否准确实现,视觉系统能否获得高精度的反馈信息,都涉及到一个基本的、重要的问题,即视觉系统的高精度标定。

视觉系统的标定问题包括摄像机模型的建立及模型中各参数精确值的获得。确定这一参数值的过程可以分为两部分:摄像机内部参数标定、摄像机坐标系与机器人坐标系之间转换关系(即手-眼关系)的标定。

国外在机器人视觉标定方面做了大量的研究,

并提出了一系列切实可行的方法,而国内关于此方面的研究报道却不多,并且只限于静态的离线标定

方面[7～10]

。该文首先对机器人视觉系统的成像模型进行了详细的分析,按照标定过程是否与机器人控制相结合、是否为动态过程,将视觉反馈机器人的标定方法分为离线标定和在线标定两类,并分别阐述了相关的研究思路和方法,为机器人视觉系统的研究提供了参考。

1　摄像机的成像模型

由于空间某点的几何位置与其在图像中对应点的相互关系是由摄像机的成像模型决定的,因此,正确建立摄像机的成像模型是关键。

假定摄像机模型为针孔透视变换模型,图1中给出了单摄像机下,物点与像点的位置关系。该模型中建立了3个坐标系。

(1)世界坐标系:通常取世界坐标系与机器人基坐标系重合,三维空间中的目标点p 在世界坐标系中的坐标是p w (x w ,y w ,z w )。

(2)摄像机坐标系:其中心点o c 定义在摄像机的光学中心,其Z 轴与摄像机的主光轴重合。目标点p 在摄像机坐标系中的坐标是p c (x c ,y c ,z c )。

图1　摄像机成像模型示意图

(3)图像坐标系:此坐标系为二维坐标系,其原点为图像平面与主光轴的交点,其X 轴和Y 轴分别与摄像机成像靶面像素行和列平行。图像平面与摄像机平面平行,距离为焦距f 。若不考虑畸变,目标点p 的理想成像在图像平面的坐标是p d (x d ,y d ),图1中考虑一阶径向畸变后,成像点坐标为p i (x i ,y i )。

u -o ′i -v 为计算机中处理的像素平面,o ′i 的像素

坐标是(c x ,c y )。

因为摄像机的透镜可以被转动和拆卸,所以CCD 面阵安装并不能保证以透镜的光轴为中心,且

图像采集数字化窗口的中心不一定与光学中心重合,所以对三维视觉来说,必须精确标定摄像机的光学中心;CCD 驱动信号经采集卡采样,水平像元的等效间距也要发生变化,所以需要标定图像的纵横比。

目标点p 从基坐标系变换到图像坐标系,需要经过如下几步变换,其中所涉及的参数就是摄像机标定需要解决的问题。

基坐标系与摄像机坐标系之间的变换关系为:

x c y c z c

=c

w R

x w y w z w

-T x

T y T z

(1)

其中,c

w R 是3×3的正交旋转矩阵,是两个坐标

系间旋转角θ,ψ,φ的函数,T =(T x ,T y ,T z )T

为平移

向量。

根据小孔摄像机模型,假定Z c µf,从摄像机坐标系到图像平面经过透视变换,理想图像坐标p d 为:

x d =

f z c x c y d =f

z c

y c (2)

在考虑一阶径向畸变后,像点p i 的坐标为:

x i =x d (1+kr 2

)　y i =y d (1+kr 2

)(3)

式中,用(1+kr 2)来近似表达径向畸变,r 2=x 2

i

+y 2

i ,k 为径向畸变系数。

真实图像坐标p i 到计算机像素坐标(u,v )的转

换关系为:

x i =(u -c x )/s x y i =(v -c y )/s y

(4)式中,s x ,s y 分别是摄像机成像靶面上单位距离的像素数。

综上所述,需标定的摄像机内部参数有c x ,c y ,k,f,s x ,s y 共6个,其中,s x ,s y 一般可以由摄像机及图像采集卡厂商提供的参数间接求得,可以作为精确标定的初值;手-眼关系标定的参数有摄像机的旋转变换矩阵和平移向量,考虑到旋转矩阵的正交性,也有6个参数需标定。

2　标定方法

针对视觉系统标定时采用的方式不同,按照标定过程是否与机器人控制相结合、是否为动态过程,将视觉反馈机器人的标定方法分为离线标定和在线

标定两类,也分别称做静态标定、动态标定[5]

。2.1　离线标定法

离线标定是最基本的标定方法,典型的方式是在一平面模板上分布有尺寸及排列规律已知的参照物,如圆形、正方形或正六边形,通过图像处理获取需要的一组特征点的像素坐标,对应成像模型中各参数的关系,建立方程组,通过数学方法求解标定参数。这一过程比较繁琐,而且求取过程对数学计算要求比较高。在离线标定时机器人不进行伺服控制,所以又称做静态标定。该方法可以分为3类:线性标定、非线性标定以及分步标定法。

线性标定技术指通过直接求解线性公式来确定变换参数,也称作直接线性变换法(DLT )。这种算法简捷,因而被广泛使用,但未考虑透镜的畸变;通常未知数的数目大于实际自由度,这使得求解未知参数的约束难以得到满足,结果的准确性也对噪声比较敏感。

非线性标定技术考虑了镜头畸变所引入的非线性方程,为求解数目众多的未知数而采用了非线性

优化方法。如Zhuang [3]

提出的一步法,将机器人手眼关系与机器人执行器作为一个整体来建模,利用复杂的非线性优化方法同时计算摄像机参数和转换矩阵。这种方法建立的模型精确,但计算复杂,并且要求初始条件适当;否则,非线性搜索优化计算容易陷入局部最小。