机器人视觉伺服控制系统研究

Date of Oral Examination: March, 2003 ABSTRACT
Robot visual servo control is a fundamental research subject with very important theoretical research sense and industry application prospect. Firstly, A method for object recognition in a complex noisy environment based on GA pattern matching is presented in this thesis, combining with distance transformation. Simulations show that this method can quickly and accurately recognize the object in input image and has a few strong robustness against noise in the input image. Secondly, The simulations for two kinds of control algorithms based on PD, namely, direct PD control and PD control with feedforward compensation, have been completed in this thesis. Simulations show that both control algorithms have good control performance in tracking a known trajectory and the effect of dynamic compensation of PD control with feedforward compensation is obvious. But direct PD control has better robustness against modeling error and uncertain disturbance compared with PD control with feedforward compensation. Finally, the forward kinematics model of MOTOMAN robot is set up and its inverse kinematics solution is obtained by using algebraic method and iterative method respectively; A MOTOMAN industry robot, a CCD camera and an image grabber card, along with PC
人的视觉伺服控制[1]， 美国 NASA 航天机器人计划、 日本 ARTRA 极限环境 作业机器人计划、 德国 ROTEX 空间机器人计划、 欧洲 ESPRIT 及 EUREKA 中的自主机器人计划，以及我们国家科委 863 计划中自动化领域智能机器 人主题等以智能机器人系统为目标的研究计划。并且有一些系统投入使用， 如美国斯坦福大学和 SRI 共同开发的 SRI VISION MODULE ；荷兰
I
摘要 上采用基于位置的动态“look and move”视觉控制方法完成了 MOTOMAN 机器人的 视觉定位实验，从实验结果可以看出整个系统的定位精度比较高，完全适用于一般的 机器人视觉定位场合，并给出了进一步减小定位误差的方法。 关键词 GA 模式匹配 MOTOMAN 机器人 视觉伺服控制 手眼协调视觉系统
Philips 公司研制的 PAPS 系统;而素有机器人王国之称的日本在 2001 年 11 月推出的 ASIMO 人工智能机器人更是将智能机器人的研究提高到了一个 新的层次。在诸多传感器中，视觉传感器因其信息量大、适用范围广等特 点已成为最重要的机器人传感器之一。因此，机器人视觉系统的研究一直 是各类智能机器人研究的一个热点。 智能机器人的视觉传感器通常采用 CCD 摄像机，它与机器人的操作臂 及其手爪结合在一起，组成可以模拟人的“look and move”的智能，即所 谓智能机器人“手眼”协调系统[2]。智能机器人“手眼”协调系统是研究基 于视觉传感器的智能机器人作业系统的主要方向之一。 广泛的应用在零 件的自动检测， 生产线的自动监控， 移动工件的抓取[3],三维运动目标跟踪[4]，
1
西安理工大学硕士论文
自治战车导航，登月舱的自动着陆及空间机构等等中。 无论是以跟踪和抓 取运动目标为主要任务的机器人“手眼”协调系统，还是其它机器人视觉 系统， 对视觉信息的获取与处理， 并进一步用于闭环机器人控制,即所谓 “机 器人视觉伺服控制”都是十分重要的。狭义上讲，机器人视觉伺服系统的 概念是指利用利用其末端执行器上安装的视觉传感器产生用于机器人闭环 反馈控制信息的系统[2]， 它与智能机器人 “手眼” 协调系统具有相似的含义。 而广义上讲，几乎所有的智能机器人系统，都可以看作某种意义下的视觉 伺服控制系统。 智能机器人视觉伺服系统通常由一台或多台(机器人本体及其控制器)、 不同数量的视觉传感器(通常是 CCD 摄像机)、自然光源或主动光源以及计 算机视觉信息处理、控制系统（独立或与机器人控制器合为一体）组成。 对于不同的应用场合，智能机器人视觉伺服系统的结构是灵活多变的，从 单机器人、单摄像机非实时的“look and move”系统到多机器人、多摄像 机实时的“手眼”协调机器人视觉伺服控制系统。机器人视觉伺服控制系 统的性能、复杂程度及所花费代价的差别十分巨大。虽然国内外学者在智 能视觉机器人系统的理论研究及实现方面已经进行了大量、深入的研究， 并取得了令人瞩目的成果，某些智能视觉机器人系统已接近实用化。但是， 由于实际问题的复杂性，视觉控制算法有待进一步研究，具体实现过程中 仍存在视觉信息处理瓶颈、适用范围窄、系统造价昂贵等实际问题。尤其 在国内，机器人视觉伺服方法的研究起步较晚，大约九十年代初，我国清 华大学、哈尔滨工业大学等高校和科研院所开始研制自己的机器人视觉系 统，但都处于实验室研究阶段距离实际应用阶段还有一段距离。 总之，处于计算机视觉和智能机器人视觉研究前沿的智能机器人视觉 伺服控制的研究，是一个不仅具有重要的理论意义，而且还具有广阔的工 业应用前景的基础性研究课题。
西安理工大学 硕士学位论文 机器人视觉伺服控制系统研究 姓名：辛菁 申请学位级别：硕士 专业：控制理论与控制工程 指导教师：刘丁;刘涵 20030301
摘要
机器人视觉伺服控制系统研究
学科名称：控制理论与控制工程 研究生： 辛 菁 导 师: 刘 丁 教授 刘 涵 讲师 答辩日期： 2003.3 （签名: （签名: （签名: ） ） ）
II
Abstract
RESEARCH ON ROBOT VISUAL SERVO CONTROL SYSTEM Speciality : Control Theory & Control Engineering Candidate: Jing Xin Lect. Han Liu (Signature: (Signature: (Signature: ) ) ) Supervisor: Prof. Ding Liu
eye-in-hand coordinatቤተ መጻሕፍቲ ባይዱd visual servo control system
IV
绪论
1 绪论
1.1 引言
近年来，机器人技术已成为高技术领域内具有代表性的战略性技术之 一，它使得传统的工业生产面貌发生根本性的变化，对人类社会的发展产 生深远的影响。早期的机器人大多是示教型机器人，它能成功的抓取一个 方向位置已知的物体，但当物体的位置和方向变化时，常常导致抓取操作 的失败，这说明在这些系统中缺乏视觉。随着人们对机器人运动特性的要 求不断提高, 带有感觉的智能机器人的研究成为各国政府高技术计划的重 要内容之一。如瑞士的 Alain codourey 等人研究了基于位置的微操作机器
III
Abstract host computer, formed eye-in-hand coordinated visual servo control system, which constructed a hardware platform of the theoretical research and simulation experiment for robot real-time visual servo control. The 3D vision locating of object is done using “hand-eye” stereovision locating algorithms based on this experiment system. Experiment results show that the algorithm is effective as well as settlement. Some measures for improving the locating precision are presented also. A robot vision locating experiment is completed based on dynamic position-based look-and-move visual servo control structure and experiment results show that the robot vision system has high locating precision. KEY WORDS: GA pattern matching; MOTOMAN robot; visual servo control;
1.2
机器人视觉伺服控制方法综述
2
绪论
机器人实时视觉伺服系统把机器人视觉和机器人控制紧密的结合起 来。它是包括高速图像处理、机器人运动学、机器人动力学、控制理论和 实时计算在内的多个相关领域融合的结果[5]。 利用从图像中提取的视觉信息 —特征，进行机器人末端执行器的位置闭环控制称为视觉伺服，这个概念 首先由 Hill 和 Park 于 1979 年引入[6],用以区别他们的运动视觉系统的研究 与早期的“积木块世界”的图像获取的视觉系统的研究， 其具体的定义是 把视觉系统直接嵌入机器人系统的反馈回路中去，在此之前通常使用“视 觉反馈这个概念” 。这时的视觉一方面可以提供变化的环境信息，另一方面 反馈机械手自身的信息。前者可以使机器人适应环境变化，后者可以用来 进行视觉伺服控制，以提高机械手的运动控制性能。其中视觉伺服的任务 就是利用从图像中提取到的视觉信息——特征( 一般用特征点或物体的质 心)，来控制机器人的末端执行器 xt 6 的位姿[5]。位姿 x 是 3D 空间中的位置 和方向，用含有六个元素的向量表示。摄像机可以固定安装，或安装在机 器人的末端执行器上。后一种情况中，摄像机位姿和机器人末端执行器之 间存在着一个固定的关系 t 6 xc 。目标的图像是摄像机和目标之间相对位姿
摘要
机器人视觉伺服控制是一个具有重要理论研究意义和广阔工业应用前景的基础 性研究课题。 本文首先根据二值图像的特点结合距离变换提出了一种基于 GA 模式匹配的复杂 背景下目标的识别方法，该方法能快速准确的匹配图像中的目标，而且对噪声有较强 的鲁棒性；接着对基于 PD 的 2 种机器人控制算法（直接 PD 控制和 PD 加前馈补偿控 制）进行了仿真研究，实验结果表明这两种 PD 控制算法都具有较好的轨迹跟踪性能， 而且 PD 加前馈控制的动态补偿效果也很明显。与 PD 加前馈补偿控制相比，直接 PD 控制对机器人手臂动态模型误差及外界不确定性干扰具有更强的鲁棒性。 最后建立了实验研究中所用的 MOTOMAN 机器人正向运动学模型并分别用代数 法和迭代法完成了 MOTOMAN 机器人的逆运动学方程的求解；以 MOTOMAN 型工 业机器人为执行机构，采用 CCD 摄像机、图像采集卡与 PC 机建立了机器人手眼协调 视觉系统，为机器人实时视觉伺服控制系统的理论研究和模拟实验创造了硬件环境。 利用此实验装置采用手眼立体视觉定位方法实现了目标的三维视觉定位，实验结果 表明了该算法的有效性，同时对实验中发现的问题提出了一些解决措施；在此基础