机器人视觉伺服系统

三.为什么需要机器人视觉伺服
• 随着社会的发展，社会分工越来越细，尤其在现代 化的大生产中，有的人每天就只管拧同一个部位的 一个螺母，有的人整天就是接一个线头，人们感到 自己在不断异化，各种职业病开始产生。于是人们 强烈希望用某种机器代替自己工作。于是人们研制 出了机器人，代替人完成那些枯燥、单调、危险的 工作，让机器人为人类服务，即“伺服”。 • 而某些工作却不只是重复同一工作，它需要机器人 能够像人一样“看到”眼前的物体并对下一步行动 做出准确的判断，也就是需要机器人“视觉”。
机器人视觉伺服系统
一பைடு நூலகம்什么是机器人视觉
• 机器视觉的目的就是给机器或自动生产线 添加一套视觉系统，其原理是由计算机或 图像处理器以及相关设备来模拟人的视觉 行为，完成得到人的视觉系统所得到的信 息。人的视觉系统是由眼球、神经系统及 大脑的视觉中枢构成，计算机视觉系统则 是由图像采集系统、图像处理系统构成。
CCD摄像机
数码摄像机的图像获取方法：在每一个像素点，电 荷量与光线成正比，将电荷量移动到移位寄存器并 以一定的速率读取它们来获得图像
（a）图像数据采集模型（b）VHS摄像机的CCD元件
图像处理
• 图像处理的目的：对图像增强、改善或修改，为 图像分析做准备， • 图像处理的过程包含许多子过程，如：
– – – – – – – 直方图分析 阈值处理 掩模 边缘检测 图像分割 区域增长及建模 二值形态操作等
（a）直方图均衡(b)二值化 （c）边缘检测（d）均值滤 波
• 基于图像的视觉伺服系统，其误差信号直 接用图像特征来定义，即:通过摄像机获取 的图像特征与期望的图像特征比较，经过 特征空间控制律输入到机器 人关节控制器 控制机器人的运动。控制问题的关键在于: 将视觉空间的图像特征误差信息映射到机 器人所在的三维笛卡尔空间中去。
• 图像雅可比矩阵（特征敏感度矩阵）不是 常数矩阵，而是随着机器人位姿改变而不 断变化的，具有非线性、时变等特点。
采用多输入、多输出bp神经网络，输入向量为特征 点在图像平面的坐标值变化量，输出向量为相应的 机器人关节运动量。学习算法采用bp算法。神经网 络学习输入、输出之间的关系，不断更新权值直至 误差减少到零。
二.什么是机器人视觉伺服
• 视觉伺服的概念，是由hill和park于1979年 提出的。“伺服”一 词源于希腊语“奴隶” 的意思 。视觉伺服，一般指的是，通过光 学的装置和非接触的传感器自动地接收和 处理一个真实物体的图像，通过图像反馈 的信息，来让机器系统对机器人做进一步 控制或相应的自适应调整的行为。
CCD摄像机
• CCD摄像机的主要组成部分为一个由晶体管 硅晶片构成的取景区，其中包含了数千万 的极小的感光区（像素点），每一个像素 都会产生与投射到该点的光的强度相应的 电荷。 • 1英寸大小的晶片上大约有52万个像素； • 每一个像点旁边都有一个隔离光线的移位 寄存器，每一个像点处的电荷1秒钟向旁边 的移位寄存器移动30次。
五.机器人视觉伺服系统的发展前景
• 针对任务有时可能需要从一套特征切换到 另一套，可以考虑把全局特征与局部特征 结合起来。 • 结合计算机视觉及图像处理的研究成果， 建立机器人视觉系统的专用软件库。 • 加强系统的动态性能研究。 • 利用主动视觉的成果。系统应具有主动感 知的能力，视觉系统应基于一定的任务或 目的。
多关节机器人
四.机器人视觉伺服系统的分类
• 按照摄像机的数目的不同，可分为单目视 觉伺服系统、双目视觉伺服系统以及多目 视觉伺服系统 • 按照摄像机放置位置的不同，可以分为手 眼系统和固定摄像机系统
• 按照机器人的空间位置或图像特征，视觉 伺服系统分为基于位置的视觉伺服系统和 基于图像的视觉伺服系统
基于图像的机器人视觉伺服系统
系统由机器人本体、伺服电机控制器、视觉系统、主控计算 机以及图像处理计算机等部分组成。其中，视觉系统硬件为 usb摄像头和普通pc机，具有价格低廉、安装方便、高带宽、 易于扩展等优点。
基于图像的视觉伺服控制系统结构
图像采集
• 照相机和摄像机。照相机：获取静态图像， 难以直接应用与机器人。一般，机器人视 觉系统用摄像机：模拟摄像机和数字摄像 机。数字化并存储。 • 模拟摄像机：光导摄像机 • 数码摄像机：CCD摄像机