机器人视觉伺服研究进展-中科院自动化所-谭民

文章编号:100220446(2004)0320277206

机器人视觉伺服研究进展Ξ

王麟琨,徐德,谭民

(中国科学院自动化研究所复杂系统与智能科学实验室,北京　100080)

摘　要:介绍了机器人视觉伺服系统的结构和主要研究内容,比较了当前几种主要的视觉伺服方法,针对当前机器人视觉伺服所面临的主要问题,详细阐述了近期提出的一些解决方法.

关键词:机器人;视觉伺服;综述

中图分类号:　TP24 文献标识码:　B

Survey of R esearch on Robotic Visual Servoing

WAN G Lin2kun,XU De,TAN Min

(L aboratory of Com plex S ystems and Intelligence Science,Instit ute of A utomation,Chi nese Academy of Sciences,Beiji ng　100080,Chi na)

　Abstract:In this paper,structures and contents of robotic visual servoing systems are introduced.Then,a comparison between methods of different robotic visual servoing systems is given.Furthermore,some new methods are represented in detail to solve problems of robotic visual servoing.

　K eyw ords:robot;visual servoing;survey

1　引言(Introduction)

随着科学技术的发展以及机器人应用领域的扩大,人们对机器人技术提出了更高的要求,希望机器人具有更高的智能和更强的环境适应能力,机器人视觉伺服研究正是为了满足这一要求而展开的.机器人视觉伺服最早出现于20世纪80年代,在90年代中后期发展迅速.这是因为机器人应用领域的扩展以及计算机硬件技术的突飞猛进,极大地提高了图像处理的速度,大幅降低了专用图像处理设备的费用.视觉伺服控制与基于传统传感器的机器人控制相比,具有比较明显的优点:更高的灵活性,更高的精度,能够对机器人标定误差具有强的鲁棒性等.以上优点决定了机器人视觉伺服在较短的时间里成为机器人研究领域中的热点之一,并在工业生产、海洋探测等众多领域得到了成功的应用.

2　机器人视觉伺服研究的主要内容(Prima2 ry research of robotic visu al servoing)

机器人视觉伺服系统由视觉传感向控制器提供外部信息,调整机器人的位置和姿态.研究内容涉及到图像处理、机器视觉、控制理论、运动学等多个领域.当前机器人视觉伺服研究的主要内容可以归纳为视觉伺服系统结构、快速有效的图像处理算法以及视觉伺服控制器的设计等几个主要方面.

2.1　机器人视觉伺服系统的结构

2.1.1　视觉伺服系统的分类

根据不同的标准,机器人视觉伺服系统可以被划分为不同的类型.根据摄像机的数目的不同,可以分为单目视觉伺服系统、双目视觉伺服系统以及多目视觉伺服系统.单目视觉无法直接得到目标的三维信息,一般通过移动获得深度信息.单目视觉适用于工作任务比较简单且深度信息要求不高的工作环境.多目视觉伺服可以观察到目标的不同部分,可以得到更为丰富的信息,但视觉控制器的设计比较复杂,且相对于双目视觉伺服更加难以保证系统的稳定性[1].双目视觉可以得到深度信息,当前的视觉伺服系统主要采用双目视觉.根据摄像机放置位置的不同,可以分为手眼系统和固定摄像机系统.手眼系统能得到目标的精确位置,可以实现精确控制,但只能得到小的工作空间场景,而且由于手眼系统只能

　第26卷第3期　2004年5月 机器人　ROBOT

Vol.26,No.3

　May,2004

Ξ收稿日期:2003-09-20

观察到目标而无法观察到机器人末端,因此需要通

过已知的机器人运动学模型来求解目标与机器人末端的位置关系,对标定误差以及运动学误差比较敏感.固定放置的摄像机既可以观察到目标也可以观察到机器人末端,并且可以得到大的工作空间场景,能得到机器人末端相对于目标的相对速度,但无法得到目标的准确信息,且机器人运动可能造成目标图像的遮挡.为了克服两种摄像机放置位置的不足,当前的一种解决方法是两种方式的协作使用[2].根据误差信号定义的不同,还可以将视觉伺服分为基于位置的视觉伺服和基于图像的视觉伺服.基于位置的误差信号定义在三维笛卡儿空间,而基于图像的的误差信号定义在二维图像空间.

2.1.2　基于位置与基于图像的视觉伺服方法

基于位置的视觉伺服是根据得到的图像,由目标的几何模型和摄像机模型估计出目标相对于摄像机的位置,得到当前机器人的末端位姿和估计的目标位姿的误差,通过视觉控制器进行调节.基于位置的视觉伺服的结构如图1所示.基于位置的视觉伺服需要通过图像进行三维重构,在三维笛卡儿空间计算误差.这种方法的优点在于误差信号和关节控制器的输入信号都是空间位姿,实现起来比较容易.但由于根据图像估计目标的空间位姿,机器人的运动学模型误差和摄像机的标定误差都直接影响系统的控制精度,且没有对图像进行直接控制,易使目标离开视场

.

图1　基于位置的视觉伺服结构框图

Fig.1　Structural diagram of position 2based visual servoing

基于图像的视觉伺服直接计算图像误差,产生相应的控制信号,不需要三维重建,但需要计算图

像雅可比矩阵.基于图像的视觉伺服的结构如图2所示.基于图像视觉伺服的突出优点是对标定误差和空间模型误差不敏感,缺点是设计控制器困难,伺服过程中容易进入图像雅可比矩阵的奇异点,一般需要估计目标的深度信息,而且只在目标位置附近的邻域范围内收敛.求解图像雅可比矩阵是基于图像视觉伺服的一个主要任务,数学描述如下:　f .

=J (f ,r ) r ,f 为特征的图像坐标,J 为图像雅可比矩阵,r 为机器人末端坐标.求解图像雅可比矩阵主要

有3种方法:直接估计方法、深度估计方法、常数近似方法.直接估计方法不考虑图像雅可比的解析形

式,在摄像机运动过程中直接估计得到数值解.深度估计的方法需要求出图像雅可比矩阵的解析式,在每一个控制周期估计深度值,代入解析式求值.这种方法实时在线调整雅可比矩阵的值,精度较高,但计算量较大.常数近似方法是简化的方法,图像雅可比矩阵的值在整个视觉伺服过程中保持不变,通常取理想图像特征下的图像雅可比矩阵的值.常数近似的方法只能保证在目标位置的一个更小邻域内收敛

.

图2　基于图像的视觉伺服结构框图

Fig.2　Structural diagram of image 2based visual servoing

2.1.3　混合视觉伺服方法

由于基于位置和基于图像的视觉伺服方法都具

有一些难以克服的缺点,人们提出了混和视觉伺服方法.混合视觉伺服的主要思想是采用图像伺服控

制一部分自由度,余下的自由度采用其他技术控制,不需要计算图像雅可比矩阵.混合视觉伺服以Malis 提出的2.5D 视觉伺服方法最具有代表性[3],2.5D 视觉伺服的结构框图如图3所示.

872　机　器　人2004年5月