机器人视觉伺服系统综述

机器人视觉伺服系统综述摘要：对机器人视觉伺服系统进行阐述，介绍了机器人视觉伺服系统的概念、发展历程以及研究背景；并从不同的角度对机器人视觉伺服系统进行了分类。

最后介绍了该领域的研究现状、所取得的成就，以及今后的发展趋势。

关键词：机器人；视觉伺服；综述Survey of robot visual servoing systemAbstract:: In this paper,the survey of robot visual servoing system are introduced.The paper reviews the concept and history background of robot visual servoing system.This article also classify the robot visual servo system from different aspects. Finally, it introduce the research status quo, achievements and future trends in the field.Key words:robot, visual servoing, summary1．引言随着先进科学技术的不断发展，机器人已经在生产和生活中起到了越来越重要的作用，因次人们不断对机器人技术提出更高的要求。

为了使机器人能够完成更加复杂的工作，适应更加复杂的环境，机器人不仅需要更加完善的控制统，还需要能够更多的感知环境的变化。

而影响其发展的一个重要原因就是机器人缺少像人一样的感知能力，在人们为机器人添加各种外部传感器的过程中，机器人视觉以其信息大、信息完整成为最重要的机器人感知功能[1]。

机器人的视觉伺服系统是机器人的视觉和机器人控制的相结合的复杂系统。

其内容包括了图像的采集与处理、运动学和动力学、自动控制理论及其系统数据实时分析等领域于一体的新兴交叉学科。

随着摄像技术和计算机技术的发展，以及相关理论的日益完善和实践的不断检验，视觉伺服已具备了在实际中应用的条件；而随着机器人应用领域的不断扩展，重要性也不断提高，与其相关技术问题已经成为了当前的研究热点[2]。

所以实现机器人视觉伺服控制有相当的难度，是机器人研究领域中具有挑战性的课题。

2．机器人视觉伺服系统2．1机器人视觉伺服系统的定义视觉是一种复杂的感官, 视觉信息中包含有大量的数据，要从中提取特征信息，需要复杂的算法及耗费大量的运算时间，机器人视觉是通过光学装置和非接触式的传感器自动接受并处理真实物体图像信息，并通过分析获得所需要信息或用于控制机器人自身运动的装置。

机器人视觉作为一种很与人类眼睛类似的机器仿生系统。

而从广义角度讲凡是通过光学装置获取真实物体的信息以及对相关信息的处理与执行都是机器视觉，这就包括了可见视觉以及非可见视觉,甚至包括人类视觉不能直接观察到的、物体内部信息的获取与处理等[3]。

而视觉伺服是利用视觉传感器得到的图像作为反馈信息,构造机器人的位置闭环反馈。

所以它和一般意义上的机器视觉有所不同 ,机器视觉一般定义为: 自动地获取分析图像以得到描述一个景物或控制某种动作的数据。

而视觉伺服则是以实现对机器人控制为目的而进行图像的自动获取与分析, 因此它是利用机器视觉的原理,从直接得到的图像反馈信息中，快速进行图像处理 ,在尽量短的时间内给出反馈信息 ,参与控制决策的产生,构成机器人位置闭环控制系统[4]。

广泛应用于电子、汽车、机械等工业部门和医学、军事领域。

2.2机器人视觉伺服系统的发展历史、方向及研究背景机器视觉是随着20世纪 60年代末计算机与电子技术的快速发展而出现的新型学科。

到20世纪70年代，Marr首次提出较为完善的视觉理论框架，该理论核心是从二维图像恢复物体的三维形状；Marr的理论强调表示的重要性，提出从不同层次去研究信息处理的问题。

当时出现了将视觉信息用于工业生产中机械手定位的研究，已经有了一些实用性的视觉系统 ,如应用于集成电路生产、精密电子产品装配等。

到了80年代后期, 出现了专门的图像处理硬件，人们开始系统地研究机器人视觉控制系统，在此之前，由于硬件条件的限制，视觉伺服系统发展非常缓慢，而进入90年代后, 随着计算机处理能力的增强和成本价格的下降 ,以及图像处理硬件和CCD摄像机的快速发展,机器人视觉系统吸引了更多的科研人员对其进行研究。

90年代后期视觉伺服控制技术从结构形式、图像处理方法、控制策略发展明显加快[1]。

机器人视觉伺服系统由视觉传感向控制器提供外部信息 ,调整机器人的位置和姿态。

研究内容涉及到图像处理、机器视觉、控制理论、运动学等多个领域。

机器人视觉伺服控制是机器人领域重要的研究方向之一，而视觉传感器是机器人系统中最重要的“感官”之一，它的引入改变了机器人对操作对象及环境必须精确建模的要求[5]。

视觉通常采用CCD摄像机来实现,在成像过程中会受到多种因素的影响，使得视觉信息中不可避免地夹杂有噪声，增加了图像处理的难度；另外目前的摄像机采样速率不高 ,并且在传输大量数据的视觉信息时需占用较多的时间；成像过程的非线性等。

当前机器人视觉伺服研究的主要内容可以归纳为视觉伺服系统结构、快速有效的图像处理算法以及视觉伺服控制器的设计等几个主要方面[7]。

通过视觉伺服控制，机器人可实现对动态、不确定的场合操作。

因此，这方面的研究对开发手眼协调的系统应用在航空航天领域、自动化生产、自动检测等方面具有相当重要的研究意义[9]。

3.机器人伺服系统的主要分类3.1不同的分类标准可以从不同的角度，如反馈信息类型、控制结构和图像处理时间等方面对机器人控制系统进行分类。

根据不同的标准，机器人视觉伺服系统可以被划分为不同的类型。

根据摄像机的数目的不同，可以分为单目视觉伺服系统、双目视觉伺服系统以及多目视觉伺服系统。

单目视觉无法直接得到目标的三维信息，一般通过移动获得深度信息。

单目视觉适用于工作任务比较简单且深度信息要求不高的工作环境。

多目视觉伺服可以观察到目标的不同部分，可以得到更为丰富的信息，但视觉控制器的设计比较复杂，且相对于双目视觉伺服更加难以保证系统的稳定性。

双目视觉可以得到深度信息，当前的视觉伺服系统主要采用双目视觉。

根据摄像机放置位置的不同，可以分为手眼系统和固定摄像机系统。

手眼系统能得到目标的精确位置，可以实现精确控制，由于手眼系统只能观察到目标而无法观察到机器人末端，因此需要通过已知的机器人运动学模型来求解目标与机器人末端的位置关系，对标定误差以及运动学误差比较敏感[6]。

固定放置的摄像机既可以观察到目标也可以观察到机器人末端，并且可以得到大的工作空间场景，能得到机器人末端相对于目标的相对速度，但无法得到目标的准确信息，且机器人运动可能造成目标图像的遮挡。

为了克服两种摄像机放置位置的不足，当前的一种解决方法是两种方式的协作使用[7]。

从控制结构的角度, 可分为开环控制系统和闭环控制系统。

开环控制的视觉信息只用来确定运动前的目标位姿。

闭环控制的视觉信息用作反馈, 这种情况下能抵抗摄像机与机器人的标定误差[8]。

此外, 也可根据任务进行分类, 如基于视觉的定位、跟踪或抓取等[9]。

根据反馈信息类型的差别，还可以将视觉伺服分为基于位置的视觉伺服和基于图像的视觉伺服。

基于位置的误差信号定义在三维笛卡儿空间，而基于图像的的误差信号定义在二维图像空间。

这里我们主要讨论根据此种方法的分类。

3.2基于位置的视觉伺服系统基于位置的视觉伺服是根据得到的图像，由目标的几何模型和摄像机模型估计出目标相对于摄像机的位置，得到当前机器人的末端位姿和估计的目标位姿的误差，通过视觉控制器进行调节。

基于位置的视觉伺服的结构如图1所示 。

基于位置的视觉伺服需要通过图像进行三维重构，在三维笛卡儿空间计算误差。

这种方法的优点在于误差信号和关节控制器的输入信号都是空间位姿，实现起来比较容易。

但由于根据图像估计目标的空间位姿，机器人的运动学模型误差和摄像机的标定误差都直接影响系统的控制精度，且没有对图像进行直接控制，易使目标离开视场[10]。

末端位姿图1 基于位置控制的伺服结构图3.2基于图像的视觉伺服系统基于图像的视觉伺服直接计算图像误差，产生相应的控制信号，不需要三维重建，但需要计算图像雅可比矩阵。

基于图像的视觉伺服的结构如图2所示[11]。

基于图像视觉伺服的突出优点是对标定误差和空间模型误差不敏感，缺点是设计控制器困难，伺服过程中容易进入图像雅可比矩阵的奇异点， 一般需要估计目标的深度信息，而且只在目标位置附近的邻域范围内收敛。

而求解图像雅可比矩阵是基于图像视觉伺服的一个主要任务[15]。

图2 基于图像控制的伺服结构图 3.3混合视觉伺服系统由于基于位置和基于图像的视觉伺服方法都具有一些难以克服的缺点, 人们提出了混和视觉伺服方法. 混合视觉伺服的主要思想是采用图像伺服控制一部分自由度 ,余下的自由度采用其他技术控制 ,不需要计算图像雅可比矩阵. 混合视觉伺服以 Malis 提出的2.5D 视觉伺服方法最具有代表性。

这种方法可对基于位置和基于图像两种结构进行取长补短, 系统的稳定性和收敛域都有所提高[5]。

4.总结及展望机器人视觉是一个交叉性学科。

相关学科以及硬件的发展制约着机器人视觉伺服系统的发展。

当前的发展来看，为了提高系统的动态性能，目前多数的研究集中在解决如何由感知到的视觉信息确定机器人该怎样运动的问题，随着系统采样速率的进一步提高，有必要深入研究整个视觉伺服系统的动态性能[14]。

需要结合机器人的动力学特性及视觉过程的动态特性综合考虑[13]。

对视觉伺服系统的主要发展方向概括如下：(1)图像特征提取与追踪。

对于图像特征信息的提取直接关系到伺服系统性能的优劣。

特征的选择不仅需要考虑识别的准确性，而且需要考虑整个系统的性能。

如何快速准确地得到理想的图像特征是目前需要努力的方向。

(2)多传感器融合。

每一种传感器都有一定的使用范围，如将多种传感器结合起来一起使用，利用各种传感器的优势弥补各自的缺点，可以得到更加准确、可靠的结果。

(3)主动视觉的应用。

这是当前机器人视觉领域的一个热点，它强调机器人利用视觉伺服系统与周围环境进行交互的能力[5]。

参考文献：[1]赵清杰, 连广宇,孙增圻.机器人视觉伺服综述[J].清华大学,2011,16（3）：850.[2] 孙鸿林,孙炜,石玉秋等.基于模糊控制机器人视觉伺服系统[J].控制与工程,2006,6（17）：2662.[3]段彦婷，蔡陈生，王鹏飞等，机器人视觉伺服技术发展慨况综述[J].2007.[4]钟金明，徐刚，张海波，机器人视觉伺服系统的研究与发展[J]. 现代制造工程,2005(8).[5]倪受东，刘洋，袁祖强，机器人视觉伺服综述[J].机床与液压，2007,35（9）：227.[6]刘欢，魏立峰，王健，机器人视觉伺服系统的标定.[7] 王麟琨，徐德，谭民，机器人视觉伺服研究进展[J].机器,2004,26（3）:277.[8]高成，佟维妍，吴连印等，开环和闭环结合的机器人视觉伺服[J].系统仿真学报，2008，20（4）：1084.[9]田梦倩，罗翔，机器人视觉伺服系统机构及实现[J].制造业自动化,2005,27（12）：40[10] 沈晓晶，潘俊民，机器人视觉伺服系统控制结构的研究[J].工业仪表与自动化装置,2002,4[11] 方勇纯，机器人视觉伺服系统研究综述[J].智能系统学,2008,3(2):109.[12] 钟金明，徐刚，张海波，基于图像的机器人视觉伺服系统仿真[J].机床与液压，2005，4.[13] 林靖，陈辉堂，王月娟等，机器人视觉伺服系统的研究[J].控制理论与应用，2000，17（4）：476[14]杨延西，刘丁，闫振杰，图像反馈机器人视觉伺服系统仿真[J].系统仿真学报，2003，15（12）：1737[15] 钟金明，徐刚，张海波，图像反馈机器人视觉伺服系统理论与实验研究[J].机电工程技术，2004，33（12）：12.[16] O.Faugeras，F.Lustman.Motion and structure from motion in a piecewise pIanar environment［J］.Int.J.Pattern Recoghit.Arif.InteII.1988，voI （2）no.3，Oct.：485 - 508.[17] Malis E, Chaumette F . Multi-cameras visual servoing[ A] .Pro-ceedings of the IEEE International Conference on Robotics and Au -tomation[ C] . San Francisco , CA , USA: 2000. 3183-3188.[18] M Vargas , F R Rubio , A R Malpesa . Pose - estimationand control in a 3D visual servoing system[A] . Proc ofthe 14th IFAC[ C]. Beijing, 1999. 317-323.[19] BuiTrong Tuyen, Pha m Thuong Ca.t Neuralnetwork based visu-al Control, Automation, Robotics and Vision, 2002 . I CARCV 2002. 7th International Conference on, V olume: 1, Dec . 2 - 52002[20] Dixon W E, Zergeroglu E, Fang Y . Object tracking by a robot ma-nipulator: a robust cooperative visual servoing approach[ A] . Pro-ceedings of the IEEE International Conference on Robotics and Au -tomation[ C] . Washington, DC , USA : 2002. 211-216.。