机器人视觉伺服系统综述

基于图像的机器人视觉伺服系统综述摘要：本文介绍了机器人视觉伺服系统的概念、发展历程，而且从不同的角度对机器人视觉伺服系统进行了分类。

最后重点介绍了基于图像的机器人视觉伺服系统，以及其的simulink仿真实现。

关键词：机器人；视觉伺服；仿真Abstract:The concept and development process of the robot visual servo system is introduced in this paper, and from different angles of the robot visual servo system are classified. Finally the paper introduces the robot visual servo system based on image, and the realization of Simulink simulation.Key words: robot, visual servoing, simulation1．引言随着先进科学技术的不断发展，机器人已经在生产和生活中起到了越来越重要的作用，因此人们不断对机器人技术提出更高的要求。

为了使机器人能够完成更加复杂的工作，适应更加复杂的环境，人们不断的为机器人寻求更为完善的控制系统。

而影响其发展的一个重要原因就是机器人缺少像人一样的感知能力，在人们为机器人添加各种外部传感器的过程中，机器人视觉以其信息大、信息完整度高成为最重要的机器人感知功能。

机器人的视觉伺服系统是机器人视觉和控制的相结合的复杂系统。

其内容包括了图像的采集与处理、运动学和动力学、自动控制理论及其系统数据实时分析等领域于一体的新兴学科。

随着技术的发展，以及相关理论的日益完善，视觉伺服已具备了在实际中应用的条件；而随着机器人应用领域的不断扩展，重要性也不断提高，与其相关的技术问题已经成为了当前的研究热点。

2．机器人视觉伺服系统2．1机器人视觉伺服系统的定义机器人视觉伺服（visual servo）的概念，是由hill和park于1979年提出的。

“伺服”—词源于希腊语“奴隶”的意思。

人们想把“伺服机构”当个得心应手的驯服工具，服从控制信号的要求而动作。

在讯号来到之前，转子静止不动；讯号来到之后，转子立即转动；当讯号消失，转子能即时自行停转。

由于它的“伺服”性能，因此而得名——伺服系统。

视觉伺服，一般指的是，通过光学的装置和非接触的传感器自动地接收和处理一个真实物体的图像，通过图像反馈的信息，来让控制系统对机器人做进一步控制或相应的自适应调整的行为。

2.2机器人视觉伺服系统的发展上个世纪60年代，由于机器人和计算机技术的发展，人们开始研究具有视觉功能的机器人。

但在这些研究中，机器人的视觉与机器人的动作，严格上讲是开环的。

机器人的视觉系统通过图像处理，得到目标位姿，然后根据目标位姿，计算出机器运动的位姿，在整个过程中，视觉系统一次性地“提供”信息，然后就不参与过程了。

在1973年，有人将视觉系统应用于机器人控制系统，在这一时期把这一过程称作视觉反馈(visual feedback)。

直到1979年，hill和park提出了“视觉伺服”(visual servo)概念。

很明显，视觉反馈的含义只是从视觉信息中提取反馈信号，而视觉伺服则是包括了从视觉信号处理，到机器人控制的全过程，所以视觉伺服比视觉反馈能更全面地反映机器人视觉和控制的有关研究内容。

上个世纪80年以来，随着计算机技术和摄像设备的发展，机器人视觉伺服系统的技术问题吸引了众多研究人员的注意。

在过去的几年里，机器人视觉伺服无论是在理论上还是在应用方面都取得了很大进展。

在许多学术会议上，视觉伺服技术经常列为会议的一个专题。

视觉伺服已逐渐发展为跨机器人、自动控制和图像处理等技术领域的一门独立技术。

3.机器人伺服系统的主要分类3.1不同的分类标准目前，机器人视觉伺服控制系统有以下几种分类方式：●按照摄像机的数目的不同，可分为单目视觉伺服系统、双目视觉伺服系统以及多目视觉伺服系统●按照摄像机放置位置的不同，可以分为手眼系统(eye in hand)和固定摄像机系统(eye to hand或stand alone)●按照机器人的空间位置或图像特征，视觉伺服系统分为基于位置的视觉伺服系统和基于图像的视觉伺服系统3.2基于位置的视觉伺服系统基于位置的视觉伺服是根据得到的图像，由目标的几何模型和摄像机模型估计出目标相对于摄像机的位置，得到当前机器人的末端位姿和估计的目标位姿的误差，通过视觉控制器进行调节。

基于位置的视觉伺服的结构如图1所示。

基于位置的视觉伺服需要通过图像进行三维重构，在三维笛卡儿空间计算误差。

这种方法的优点在于误差信号和关节控制器的输入信号都是空间位姿，实现起来比较容易。

但由于根据图像估计目标的空间位姿，机器人的运动学模型误差和摄像机的标定误差都直接影响系统的控制精度，且没有对图像进行直接控制，易使目标离开视场。

末端位姿图1 基于位置控制的伺服结构图3.2基于图像的视觉伺服系统基于图像的视觉伺服直接计算图像误差，产生相应的控制信号，不需要三维重建，但需要计算图像雅可比矩阵。

基于图像的视觉伺服的结构如图2所示[11]。

基于图像视觉伺服的突出优点是对标定误差和空间模型误差不敏感，缺点是设计控制器困难，伺服过程中容易进入图像雅可比矩阵的奇异点， 一般需要估计目标的深度信息，而且只在目标位置附近的邻域范围内收敛。

而求解图像雅可比矩阵是基于图像视觉伺服的一个主要任务。

图2 基于图像控制的伺服结构图3.3混合视觉伺服系统由于基于位置和基于图像的视觉伺服方法都具有一些难以克服的缺点, 人们提出了混和视觉伺服方法. 混合视觉伺服的主要思想是采用图像伺服控制一部分自由度 ,余下的自由度采用其他技术控制 ,不需要计算图像雅可比矩阵. 混合视觉伺服以 Malis 提出的2.5D 视觉伺服方法最具有代表性。

这种方法可对基于位置和基于图像两种结构进行取长补短, 系统的稳定性和收敛域都有所提高。

4.基于图像的视觉伺服系统的实现4.1 视觉伺服系统的实现方法 4.1.1 系统的视觉配置方案要实现一个基于图像的机器人视觉伺服系统, 首先要考虑图像的获取方式。

目前机器人视觉伺服系统采用的视觉传感器主要是 CCD 摄像机, 根据选用摄像机的数量和安装位置的不同, 视觉配置方案也有所差异, 有单目视觉, 也有双目视觉; 有的摄像机固定安装在现场, 有的则固接在机器人的末端执行器上 (俗称手眼 配置, eye ” in ”and)。

比较而言, 单目视觉图像处理简单,但难以获取深度等立体信息; 双目视觉可有效地得空间立体信息, 但图像处理的计算也随之加;固定视觉可同时观察到目标对象和机器人的末端执行器, 虽控制误差直接可见, 但需引入摄像机与机器人坐标系间的转换, 并且要求摄像机的精确标定, 还可能遇到末端执行器遮挡目标的问题; 手眼视觉不会出现遮挡现象, 且因摄像机与末端执行器的位置相对固定, 通过机器人运动学和简单的平移转换就可以推知摄像机的空间位姿, 因此在机器人的视觉跟踪中得到了广泛应用。

4.1.2 图像雅可比矩阵无论摄像机安装位置如何, 也无论目标对象运动与否, 由于机器人的运动, 其末端执行器与目标对象的空间位置关系必定会发生变化, 这种变化可以通过图像反映出来, 也就是说, 在图像特征与机器人的动作之间存在着一一对应的关系。

一旦知道这种映射关系, 就能够通过图像特征变化获取机器人的动作规律。

这就是基于图像的视觉伺服方法原理。

为此, 基于图像的方法常引入图像雅可比矩阵来表示图像空间变化与机器人运动之间的映射。

为了更清楚地说明图像雅可比矩阵的特点,下面引入手眼配置下图像雅可比矩阵的一种定义形式:设目标物体上一特征点 P 相对摄像机坐标系的坐标为TZ Y X P ],,[0=, 在图像平面的坐标为 Ty x ],[。

根据摄像机的针孔模型有:T T Z Yf Z Xf y x]//[][= (1)式中: f ——摄像机的焦距。

当物体处于静止状态, 摄像机在机械手的带动下动作时, P 点在图像平面和摄像机系的坐标均会发生变化, 即由式 (1)得：将坐标点TZ Y X P ],,[0=的变化表述为摄像机的运动变化, 则有:式中: c ν和c ω分别是摄像机相对摄像机坐标系运动的线速度和角速度。

定义:()2100122⎥⎥⎥⎦⎤⎢⎢⎢⎣⎡⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎣⎡--=⎥⎦⎤⎢⎣⎡Z Y X Z Y Z Z X Z y x ()3)(0)(0222222⎥⎦⎤⎢⎣⎡⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎣⎡-+--+--=⎥⎦⎤⎢⎣⎡c c x fxy f f y Zy Zfy f f x fxy Z x Z f yx ων ()()4)(0)(0,,2222221⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎣⎡-+--+--=x fxy f f y Z y Zf y f f x fxy Z x ZfZ y x J),,(1Z y x J 即为图像雅可比矩阵。

在手眼配置中, 摄像机的运动是由机器人各关节带动末端执行器运动产生的, 所以可以进一步将式 ( 3)表示的运动变化关系转移到机器人的关节运动上:()51q J J xr =式中: x表示式(3)中等号左边的图像特征矢量[]Ty x ; q为机器人的关节矢量; r J 实际上就是机器人雅可比矩阵。

有些资料也称 r J J J 12= 为图像雅可比矩阵,因为它反映了图像特征变化与机器人关节运动之间的映射关系。

无论采用哪种形式定义图像雅可比矩阵, 都可以通过它的逆, 由图像特征的变化求取机器人的运动控制律。

4.2 视觉伺服实现中遇到的问题视觉伺服的研究到目前已有近20年的历史，但是由于视觉伺服所涉及的学科众多，所以其发展有赖于这些学科的发展，目前在视觉伺服的研究中仍然有很多问题没有很好地解决。

4.2.1 图像处理问题在基于图像的视觉伺服控制中, 图像是伺服控制的依据。

为研究的方便起见, 机器人的操作对象现在常选用球体、 长方体、 圆柱体和锥体等规则物体, 或选用机器人实际操作中的特殊工件。

那么, 怎样从摄像机获取的图像中识别目标? 这是系统设计要考虑的问题。

目标识别属于一般的图像处理问题, 只要求根据视觉伺服的需要, 选用快速的图像识别方法即可。

4.2.2 图像采集的时滞问题受图像采集速度的限制, 视觉采样的周期与机器人关节控制伺服周期相比, 速度过于缓慢, 势必会造成整个视觉伺服系统的时延, 甚至导致系统不稳定。

因此, 在机器人视觉伺服控制中,还必须考虑图像采集和处理的时滞问题。

为了解决上述问题, 除了选用更快的图像采集卡或各种快速图像处理技术 外, 还可考虑对物体在图像中的运动进行预测和估计。