机器人捕捉运动目标的动力学视觉伺服方法

合集下载

基于传感伺服的机械手跟踪运动目标方法研究

基于传感伺服的机械手跟踪运动目标方法研究
罗 翔 席文 明 毛玉 良 颜 景平
南京 201) 108 ( 东南大 学 机械工程 系
摘要 : 针对存在驱动饱和约束条件下的视觉机罂 人 ,提 出了一个 系统 的跟踪 运动 目标的实时运动 控制方案 该方
案完全根据机器人的视觉和关节驱动 电动机运 行状态 的反馈信息 ,针对跟踪过程不 同阶段 的要求,采用模糊 白适 应规 则实 时地调节机器人运动 ,从而避 免了对机罂人运动学和动力学 的分析。仿真研究证 明了其可行性
圣.v =, () 5
2 机械臂运动方 向的视觉反馈导 弓
在本文模型中.视觉反馈 的主要作用是机械臂 运动方 向的伺服跟踪。硬件采用相对机器人基坐标 系固定 的双摄像机立体视觉系统。 采用基于位置末端开环视觉伺服的方法,基本 思想为:视觉 伺服 的控制量是机械 手的运动线速 度,运动线速度的方向与 目标相对于机械手的位置 矢量保持一致。目标对象在工作空间的坐标通过对 立体视 觉 图像特征 点 ( 目标 的角 点 、圆孔等 )的 如 提 取和 匹配 得到 ;机 械手 的位 置 由关节位置 传感 器
区别 。
1 基于运动速度方 向和大小分离 的 实时运动规划
1 针对运动 目 . 1 标的视觉导引策略
对 于诸如机 器人 击球 、抓取 运动 目标等过程 ,
首先要确定一个正确的基于视觉的导引算法 本文 采用直接瞄准法 n ,即机械手 的运动方向始终指 ] 向运动 目标。对于一个具体的实时跟踪任务,通常 可 以把 整个运 动过程 分为跟 踪和 接近 两个环节 。跟 踪环节一般要求在某位置、某时刻或最快时间到达 操作位置;接近环节则根据不同的操作内容具有速 度 、加速度等约束。在本文下面的分析 中针对 如下
根据运 动 学关系得 到 。二者 误差 的单 位矢 量就 是机 械手 期望 的跟踪运 动方 向

机器人视觉伺服系统

机器人视觉伺服系统

三.为什么需要机器人视觉伺服
• 随着社会的发展,社会分工越来越细,尤其在现代 化的大生产中,有的人每天就只管拧同一个部位的 一个螺母,有的人整天就是接一个线头,人们感到 自己在不断异化,各种职业病开始产生。于是人们 强烈希望用某种机器代替自己工作。于是人们研制 出了机器人,代替人完成那些枯燥、单调、危险的 工作,让机器人为人类服务,即“伺服”。 • 而某些工作却不只是重复同一工作,它需要机器人 能够像人一样“看到”眼前的物体并对下一步行动 做出准确的判断,也就是需要机器人“视觉”。
CCD摄像机
数码摄像机的图像获取方法:在每一个像素点,电 荷量与光线成正比,将电荷量移动到移位寄存器并 以一定的速率读取它们来获得图像
(a)图像数据采集模型(b)VHS摄像机的CCD元件
图像处理
• 图像处理的目的:对图像增强、改善或修改,为 图像分析做准备, • 图像处理的过程包含许多子过程,如:
五.机器人视觉伺服系统的发展前景
• 针对任务有时可能需要从一套特征切换到 另一套,可以考虑把全局特征与局部特征 结合起来。 • 结合计算机视觉及图像处理的研究成果, 建立机器人视觉系统的专用软件库。 • 加强系统的动态性能研究。 • 利用主动视觉的成果。系统应具有主动感 知的能力,视觉系统应基于一定的任务或 目的。
• 图像雅可比矩阵(特征敏感度矩阵)不是 常数矩阵,而是随着机器人位姿改变而不 断变化的,具有非线性、时变等特点。
采用多输入、多输出bp神经网络,输入向量为特征 点在图像平面的坐标值变化量,输出向量为相应的 机器人关节运动量。学习算法采用bp算法。神经网 络学习输入、输出之间的关系,不断更新权值直至 误差减少到零。
CCD摄像机
• CCD摄像机的主要组成部分为一个由晶体管 硅晶片构成的取景区,其中包含了数千万 的极小的感光区(像素点),每一个像素 都会产生与投射到该点的光的强度相应的 电荷。 • 1英寸大小的晶片上大约有52万个像素; • 每一个像点旁边都有一个隔离光线的移位 寄存器,每一个像点处的电荷1秒钟向旁边 的移位寄存器移动30次。

机器人视觉伺服定位控制与目标抓取PPT课件

机器人视觉伺服定位控制与目标抓取PPT课件
3
机器人抓取操作
一 机器人抓取 VS 人的抓取
人抓取的特性:灵活自主
对人而言,手不仅能够根据不同形状和不同尺寸的物体采取不同的抓 取姿态(如图所示),而且人手抓取过程中,手的位置和方向能根据环境不 断地自主调整 。这反映出人抓取过程的自主性与协调性。
然而,对于机器人,则是不同,因为目前绝大多数机器人的操作行为 是在定式(标定)工作环境中进行的。改变传统定式的工作方式,攻克机 器人灵巧自主抓取问题是当今机器人研究领域的一个难点和热点。
手模型
动力学 接触点
目标模型
力闭合
抓取准则
抓取生成
预选抓
抓取
取点 最优抓取判定 矢量
执行
机器人系统 结果
评价系统
任务约束
该方法的前提要求:1)精确的机械手动力学模型、目标物理模型;
5
2)机械手相对与目标物的位势信息。
二 机器人抓取研究现状
经验学习抓取法
首先通过观察学习人的抓取,根据任务约束、然后学习系统产生一种 最佳的抓取模式,该方法的核心思想是基于模仿与学习理论 。
3) 基于解析法和经验法的机器人抓取过程中,手臂的协调与定位都是需要 预先标定,而后求取机器人的逆动力学进行控制的。标定除了带来复杂 的计算外,同时也限制了机器人应用的拓广。
10
三 基于多模特征深度学习的机器人抓取判别
深度学习
2006年多伦多大学Hinton等 人在Science杂志上提出,该 学习算法避免了特征抽取过程 中了人为的干预,同时深度学 习解决了传统多层神经网络学 习过程局部收敛和过适性习算法 的研究。
我们知道需要层次的特征构建,由浅入深,但每一层该有多少个特征呢?
缺点:依赖于物体的7 3D 信息,3D计算复杂。

机器人视觉伺服系统的控制结构

机器人视觉伺服系统的控制结构

机器人视觉伺服系统的控制结构机器人视觉伺服系统的控制结构1 前言对机器人视觉伺服系统的研究是机器人领域中的重要内容之一,其研究成果可直接用于机器人手—眼系统、移动机器人的自动避障及对周围环境的自适应、轨线跟踪等问题中。

通常所说的机器视觉是指:自动获取并分析图像,以得到一组可对景物描述的数据或控制某种动作的数据。

而视觉伺服则不同于机器视觉,它利用机器视觉的原理对图像进行自动获取与分析,以实现对机器人的某项控制为目的。

正是由于系统以实现某种控制为目的,所以视觉伺服系统中的图像处理过程必须快速准确。

视觉伺服系统采用视觉反馈环形成闭环,在视觉反馈环中抽取某种图像特征。

图像特征可以是点、曲线、图像上的某一区域等,比如,它可以是点在图像平面的坐标位置,或投影面的形心及其惯量的高次幂。

2 视觉伺服系统的分类视觉伺服的控制策略主要基于以下两个问题:1)是否采用分层控制结构?即机器人是否需要闭环关节控制器?进一步说,就是系统的视觉反馈是为机器人的关节控制闭环提供输入量,还是由视觉控制器直接控制机器人各关节。

2)误差输入量是以机器人所在空间的三维坐标表示,还是以图像特征?按控制策略2)区分,视觉伺服系统分为两类:基于位置的控制系统(position-based control,又称3D视觉伺服,3Dvisualservoing),基于图像的控制系统(image-base control,或称2D视觉伺服,2Dvisualservoing)。

由于基于位置和基于图像的视觉伺服各有其优缺点,于是近年有学者综合上述两类视觉伺服系统的优点,设计出2-1/2D视觉伺服系统。

按控制策略1)区分,视觉伺服系统可分为动态观察—移动系统和直接视觉伺服。

前者采用机器人关节反馈内环稳定机械臂,由图像处理模块计算出摄像机应具有的速度或位置增量,反馈至机器人关节控制器;后者则由图像处理模块直接计算机械壁各关节运动的控制量。

3 视觉伺服系统的控制结构3.1 基于位置的视觉伺服控制结构在基于位置的控制系统中,输入量以三维笛卡尔坐标表示(又称3D伺服控制),多数基于位置的视觉伺服系统采用一具有5~6个自由度的机械臂作为摄像机的运动载体。

机器人视觉伺服系统

机器人视觉伺服系统
组成
机器人视觉伺服系统主要由图像采集设备、图像处理单元、目标识别与定位模块 、伺服控制器和机器人执行机构等部分组成。
02
视觉伺服系统的关键技术
图像获取
相机选择
根据应用需求选择合适的相机类 型,如CCD或CMOS,以及相应 的分辨率。
照明条件
确保足够的照明以获得清晰、对 比度高的图像,并考虑使用红外 或紫外光谱的特殊照明。
图像处理
预处理
包括噪声去除、对比度增强和图像缩放等,以提高图像质量 。
特征提取
利用算法检测和提取图像中的关键特征,如边缘、角点或纹 理。
目标识别与跟踪
目标检测
利用模式识别和机器学习技术检测图像中的目标物体。
目标跟踪
连续帧间跟踪目标,处理目标运动、遮挡等问题。
姿态估计与控制
姿态估计
通过分析图像特征和相机参数,计算 机器人与目标之间的相对姿态。
拓展应用领域
将机器人视觉伺服系统应用到更多领域,如 医疗、农业、工业等。
未来趋势
深度学习技术
利用深度学习技术提高机器人视觉伺 服系统的识别和分类能力。
多模态融合
将图像信息与其他传感器信息融合, 提高机器人视觉伺服系统的感知能力 。
强化学习
利用强化学习技术训练机器人视觉伺 服系统,使其能够自主适应不同环境 和任务。
特点
具有高精度、高速度和高可靠性的特 点,能够实现快速、准确的视觉伺服 控制,提高机器人作业的自动化和智 能化水平。
工作原理
工作流程
图像采集
机器人视觉伺服系统的工作流程主要包括 图像采集、图像处理、目标识别与定位、 伺服控制等步骤。
通过相机等图像采集设备获取目标物体的 图像。
图像处理

视觉伺服系统的控制算法及实验研究

视觉伺服系统的控制算法及实验研究
视觉伺服系统的控制算法及实验研究
学位论文
视觉伺服系统的控制算法及实验研究
视觉伺服系统的控制算法及实验研究
摘要
通常意义上的传感器所获取到的信息比较单一,不足以应对智能机器人的需求,但是视觉模块能够获取到极其丰富的信息。基于视觉的伺服系统的研究受到机器人开发工作者的青睐,并成为当前国内外机械伺服系统研究领域的热点。
The main study content of this topic is the control algorithm and experimental research of visual servo system, the main object of study is two degrees of freedom mechanical arm platform which based onMPC08SPmovement control card.Purpose of this topic is based on visual feedback as the core to build its closed loop control system for searching and positioning on the target object.
随着我国自动化水平的提高,基于视觉的伺服系统也逐步受到研究人员的青睐。80年代末,清华大学计算机系研制的Eye-in-Hand就是一种典型的“眼一手”系统,该系统由PUMA560机械手、Image Box图像系统、SUN工作站和PC—AT组成,在机械手的顶部有一台摄像机,主要用来观测工作台的全景,在机械手的末端有CCD摄像机和半导体激光发生器,它能完成多种精密的装配任务[1]。
6.1.8 Labview人机界面16

视觉伺服综述

视觉伺服综述

视觉伺服综述一、视觉伺服定义:视觉伺服是利用视觉信息控制机械手末端执行器与目标物体之间的相对位姿(pose:position and orientation),或者是利用一组从图像中提取的特征来控制机械手末端执行器与该组特征之间的相对位姿。

根据利用图像信息的不同,可以将视觉伺服分为基于位置的视觉伺服、基于图像的视觉伺服和2.5D视觉伺服。

如果将视觉伺服控制应用到移动机器人,例如自治车辆、自治飞行器和自治潜水器,那么就是利用视觉信息或者一组从图像中提出的特征信息来控制机器人与目标物体之间的相对位姿。

因此,可以认为视觉伺服控制是一门多学科交叉的研究领域,它涉及许多学科,主要包括:数字图像处理、数字信号处理、实时系统、控制理论、运动学、动力学、计算机视觉和机器人学等。

到了80年代末、90年代初,关于视觉伺服的论文数量明显增加,这得益于个人计算机处理能力的提高以及摄像机技术的发展。

因为在个人计算机性能提高之前,研究视觉伺服需要专用的、价格昂贵的采用流水线技术的像素处理设备,因此,当个人计算机性能大幅度提高以后,越来越多的学者加入到视觉伺服控制研究领域,大大地提高了视觉伺服控制研究方面的论文数量。

针对视觉伺服的应用,各国学者也提出了很多的应用原型,例如:从传送带上抓取零件、零件装配、机器人遥操作、导弹跟踪图像系统、水果采摘、汽车无人驾驶和飞机降落等。

二、视觉伺服系统的组成一个典型的工业机器视觉应用系统包括光源、光学系统、图像捕捉系统、图像数字化模块、数字图像处理模块、智能判断决策模块和机械控制执行模块。

系统首先采用CCD摄像机或其它图像拍摄装置将目标转换成图像信号,然后转变成数字化信号传送给专用的图像处理系统,根据像素分布、亮度和颜色等信息,进行各种运算来抽取目标的特征,根据预设的容许度和其他条件输出判断结果。

三、视觉伺服控制的研究内容典型的视觉伺服控制任务通常有:①定位问题(positioning),即通过视觉信息控制机械手末端执行器对准目标物体,也就是控制机械手末端执行器运动到理想位姿。

机器人捕捉运动目标的动力学视觉伺服方法

机器人捕捉运动目标的动力学视觉伺服方法
பைடு நூலகம்

——
机 器人捕 捉 运动 目标 的动 力 学视 觉伺 服 方法
邝宏 武 ,郝矿荣 ,丁永 生 ,
(. 1 东华 大学信息科学与技术学院 ,上海 2 1 2 ;2 数字化 纺织服装技术教育部工程研究中心 ,上海 2 1 2) 0 60 . 06 0

要 : 出一种机器 人捕捉运 动目标 的动力学视觉伺服方法 。 提 基于位置 阻抗控制器 ,通过双 目立体视觉 检测并 跟踪运动 目标的位置 , 结
D n mi i a S r oMeh dfr b t apn vn jc y a c V s l ev to o’Gr s igMo igObe t s u o Ro S
KUANG n - HAO a . o g , NG o g s e g , Ho g WU , Ku ng t n DI Y n .h n 2 ( . l g f no mainS in ea dT c n l g , n h a iest, h n h i 0 6 0 C ia 1Col e fr t ce c e h o o y Do g u v ri S a g a 1 2 , hn ; e oI o n Un y 2 2 E gn ei gR sac e t o Dii z d e t e&F s in e h oo yo Mii r f d c t n S a g a 2 6 0 Chn ) . n ie r n e e rhC ne f gt e T xi r i l a ho T c n lg f ns yo E u ai , h n h i 01 2 . ia t o
成运动 目标捕捉任务 ,系统硬件结构如 图 l 所示 。

机器人视觉伺服系统概述

机器人视觉伺服系统概述

机器人视觉伺服控制技术
2016-05-14
一、机器人视觉伺服技术概述
工业4.0与中国制造2025 机器人视觉与控制
1.1 机器人视觉伺服系统的定义
机器人视觉伺服系统 (Visual Servo)
机器人运动控制 (Motion Control)
理解图像信息
X 机器视觉
计算机视觉
(Machin Vision) (Computer Vision)
2014-12-21
视觉调节 (Accommodation)
角膜(Cornea) — 位于眼球前端,用于固定瞳孔、虹膜 以及前端流体腔的透明体;其刚度较高,屈光度远大 于晶状体;
晶状体 (Crystaline lens)— 人眼球内的双凸面柔性透明 体,用于将光线屈光成像于视网膜上 悬韧带(zonule) —眼球内环晶状体分布的连接其与睫状 肌的一缕缕纤维
➢ 双眼运动(Binocular Movements) ➢ 扫视 Saccadic ➢ 平滑追踪 Smooth pursuit ➢ 收敛 Convergence ➢ 前庭动反射 VOR
State Key Laboratory of Robot, Chinese Academy of Science
2014-12-21
机器人视觉伺服控制技术
2016-05-14
工业4.0与中国制造2025 机器人视觉与控制
State Key Laboratory of Robot, Chinese Academy of Science
➢ 双眼运动(Binocular Movements) ➢ 扫视 Saccadic ➢ 平滑追踪 Smooth pursuit ➢ 收敛 Convergence ➢ 前庭动反射 VOR

机器人视觉伺服定位控制与目标抓取PPT精选文档

机器人视觉伺服定位控制与目标抓取PPT精选文档

二 机器人抓取研究现状
综上抓取方法可知:
1) 解析建模抓取法需要对目标进行2D/3D建模,在复杂环境下建模精度难 以保证。
2) 经验学习抓取法通过学习或模仿人的抓取,在一定程度上克服了解析抓 取法建模的固有缺陷。但是,现有学习算法在稀疏样本学习中,算法的 学习能力有限,机器人缺乏对新物体抓取的能力。
抓取学习/ 人工示范
特征
抓取模式 数据库
目标分割 特征
抓取生成 与判定
抓取
执行
矢量 机器人系统 结果
评价系统
场景/ 约束条件
该方法的前提要求:1)完整的目标几何模型(2/3D)信息;
6
2)机器人视觉系统严格标定,已知机械臂动力学模型。
二 机器人抓取研究现状
r 抓取类型一:3D目标抓取
实例1 3D几何匹配抓取 实例2 3D位势估计抓取
二 机器人抓取研究现状
r 抓取类型二:2D位置学习抓取
直接从2D图像平面学习获取抓取位置,该方法首先采用人工标记抓取点 的合成图像,提取分类图像特征向量,应用机器学习方法来训练抓点。
机器人单抓取点学习
机器人多抓取点学习 该方法实施步骤:给定视觉场景 学习模型得出抓取点 计算抓取参数
8
机器人动力学运动规划。
1、一种基于局部随机采 样一致性鲁棒几何描述的 3D匹配与位势估计抓取 方法,该方法在噪声、遮 挡环境测试中取得良好抓 取效果。
2、综合双目和单目视觉信 息、以及物体表面与几何 模型实现深度提取、目标 区域分割,以及位势估计, 该抓取系统在遮挡、光照 变化的室内环境中实现了 机器人抓取操作
缺点:依赖于物体的7 3D 信息,3D计算复杂。
二 机器人抓取研究现状
r 抓取类型三:高级人工智能学习抓取

基于图像的智能机器人视觉伺服系统

基于图像的智能机器人视觉伺服系统

基于图像的智能机器人视觉伺服系统一、本文概述随着科技的不断发展,机器人技术已经成为了现代工业、医疗、军事等领域不可或缺的一部分。

在机器人的众多应用中,视觉伺服系统发挥着至关重要的作用。

基于图像的智能机器人视觉伺服系统,利用图像处理技术和控制算法,使机器人能够准确识别、定位并跟踪目标对象,实现高效、精确的自动化操作。

本文将对基于图像的智能机器人视觉伺服系统进行深入研究,分析其工作原理、技术特点以及应用领域,并探讨其未来的发展趋势和挑战。

本文将介绍基于图像的智能机器人视觉伺服系统的基本概念和工作原理。

我们将详细阐述如何通过图像采集设备获取目标对象的图像信息,并利用图像处理技术提取出目标对象的特征信息。

然后,我们将介绍如何利用这些特征信息设计合适的控制算法,使机器人能够准确识别、定位并跟踪目标对象。

本文将分析基于图像的智能机器人视觉伺服系统的技术特点。

我们将探讨其与传统视觉伺服系统的区别和优势,并详细分析其在不同应用场景下的性能表现。

同时,我们还将介绍一些典型的基于图像的智能机器人视觉伺服系统实例,以便读者更好地理解和掌握相关技术。

本文将展望基于图像的智能机器人视觉伺服系统的未来发展趋势和挑战。

我们将分析当前技术存在的问题和瓶颈,并探讨如何通过技术创新和研发来解决这些问题。

我们还将预测未来该领域的发展趋势和应用前景,为相关研究和应用提供参考和借鉴。

通过本文的阐述和分析,我们希望能够为读者提供一个全面、深入的视角,帮助读者更好地理解和掌握基于图像的智能机器人视觉伺服系统的相关技术和应用。

二、基于图像的智能机器人视觉伺服系统基本原理基于图像的智能机器人视觉伺服系统是一种结合了图像处理、机器人技术和控制理论的高级机器人控制系统。

其基本原理可以概括为以下几个方面:图像获取与处理:通过安装在机器人上的摄像头获取环境的实时图像。

这些图像随后经过一系列图像处理算法,如滤波、增强、分割和特征提取等,以提取出对机器人运动控制有用的信息。

视觉伺服移动机器人目标识别定位及控制方法研究

视觉伺服移动机器人目标识别定位及控制方法研究

视觉伺服移动机器人目标识别定位及控制方法研究视觉伺服移动机器人目标识别定位及控制方法研究一、引言随着科技的不断进步和机器人技术的快速发展,移动机器人在各个领域中的应用越来越广泛。

其中,视觉伺服移动机器人在工业自动化、服务机器人、医疗机器人等领域发挥着重要作用。

本文将对视觉伺服移动机器人目标识别定位及控制方法进行研究,力求提出一种高效、精准的方法。

二、视觉伺服移动机器人目标识别算法1. 图像获取与预处理首先,移动机器人需要获取待识别目标所在区域的图像。

通常情况下,机器人会配备摄像头或激光雷达等传感器,用于图像或点云数据的获取。

然后,对获取到的图像进行预处理,包括灰度化、平滑、边缘检测等操作。

2. 特征提取与描述接下来,需要从预处理后的图像中提取出能够代表目标特征的信息。

常用的特征提取方法有颜色特征、纹理特征和形状特征等。

同时,还需要将提取出的特征进行描述,以方便后续的目标匹配与定位。

3. 目标匹配与定位通过比对目标特征描述符与数据库中保存的特征描述符,可以实现目标的匹配与定位。

常见的匹配算法有最近邻匹配、支持向量机(SVM)等。

通过匹配结果,可以确定目标所在的位置及姿态信息。

三、视觉伺服移动机器人目标控制方法1. 基于控制算法的移动通过获取到的目标位置信息,可以设计控制算法实现机器人的移动。

常用的控制算法包括PID控制、模糊控制、自适应控制等。

通过调整机器人的速度和方向,使得机器人能够实现到达目标位置的控制。

2. 视觉伺服控制视觉伺服控制是指机器人根据目标的位置变化实时调整自身的运动。

这种控制方法可以实现目标的跟踪和追踪,适用于需要保持机器人与目标之间的相对位置关系的应用场景。

常用的视觉伺服控制方法有线性伺服控制、非线性伺服控制等。

四、实验结果及分析为了验证上述算法的有效性,我们进行了一系列实验。

首先,通过实际机器人的摄像头获取目标图像,并对图像进行预处理。

然后,提取目标图像的特征描述符,并进行目标匹配与定位。

机器人视觉伺服控制技术研究

机器人视觉伺服控制技术研究

机器人视觉伺服控制技术研究机器人技术是近年来得到快速发展的一项技术,利用计算机和机械等技术实现无人操作或自主操作是其主要应用之一。

在机器人技术应用中,视觉伺服控制技术被广泛应用和研究。

视觉伺服控制技术是利用视觉信息来控制机器人的运动,具有高精度、高速度和高灵敏度等特点,已成为机器人技术和工业自动化领域中的一个重要研究方向。

一、机器人视觉伺服控制技术的基本原理传统机器人控制方法通常是基于传感器和控制器的结合,但是这种方法往往需要复杂的算法和控制机制,导致其不稳定性和误差较大。

而视觉伺服控制技术就是利用机器视觉技术来获取机器人的运动和姿态信息,将其反馈到机器人控制器中进行处理和调整,实现更加精确和高效的控制操作。

视觉伺服控制技术的基本原理是将机器视觉技术应用于机器人控制中,利用机器人自身装备的摄像头、光学传感器等设备获取环境信息和机器人状态。

通过对图像和数据进行处理和分析,得到机器人与环境之间的距离、方向和速度等信息,从而实现机器人位置姿态的控制。

二、机器人视觉伺服控制技术的应用视觉伺服控制技术在机器人技术中有着广泛的应用,其中最主要的是在工业自动化领域中的应用。

工业机器人起初主要是用来实现物体的精准处理和组装等作业,而视觉伺服控制技术的应用则将机器人的控制精度和速度提高到了一个新的水平,使其可以更加精准、高效地完成装配、加工等工作。

此外,视觉伺服控制技术还广泛应用于智能安防、智能家居、医疗机器人、无人驾驶等领域。

智能安防领域中,利用机器视觉技术和视觉伺服控制技术可以实现智能视频监控和入侵检测等功能;在智能家居领域中,机器人可以通过视觉伺服控制技术完成物品清理、家庭安全监测等任务;在医疗机器人领域中,机器人可以通过视觉识别技术和视觉伺服控制技术实现手术、治疗等工作;在无人驾驶领域中,机器人可以通过视觉伺服控制技术获得道路和交通信息,实现车辆的自动操作。

三、机器人视觉伺服控制技术的发展趋势随着技术的不断发展和应用场景的不断扩大,机器人视觉伺服控制技术也在不断升级和改进。

视觉引导工业机器人伺服控制系统设计

视觉引导工业机器人伺服控制系统设计
基于图像的视觉伺服控制系统主要是对目标物体图像进行特征提取。根据提取到的图像特征信息与期望的图像特征之间的偏差作为控制量,来设计视觉伺服控制器来控制机器人逐渐逼近目标物体,完成系统的运动任务。其优点在于系统模型以及标定误差对系统的精度影响不大;而缺点在于机器人位姿、深度信息对图像雅可比矩阵有很大的影响,并且这类参数都会实时发生变化,特别是深度信息会给视觉检测带来很大的困难。
参考文献:
[1]陶波,龚泽宇,丁汉.机器人无标定视觉伺服控制研究进展[J].力学学报,2016,48(4):767-783.
[2]陈丹,石国良.混合摄像机视觉伺服机器人研究与应用[J].传感器与微系统,2016,35(7):154-157.
[3]徐德,谭民,李原.机器人视觉测量与控制[M].2版.北京:国防工业出版社,2011.
图3机械手跟踪轨迹曲线图
通过轨迹跟踪曲线可以看出得到的机器人跟踪运动目标的跟踪轨迹较为平滑,且跟踪实时性效果较好。能后较好的反映运动目标与机器人跟踪运动之间的关系,从而验证了本文提出的视觉伺服控制方法的有效性。
结语
通过上述轨迹跟踪曲线图像可以得出机器人跟踪运动目标轨迹的位置精确,且动态响应快。机器人视觉伺服控制系统能较准确的捕捉并计算出机器人实际位置与运动目标的差异值并及时做出跟踪运动。在本文的研究中,采用的是以点作为图像特征信息。然而在一般的视觉环境中,由于环境光线的变化及其他影响因素可能获得的图像特征信息不是理想状态下的,会对系统的控制性能带来影响。因此,对于颜色特征、纹理特征等多种更有效的图像特征在视觉伺服控制系统中的应用成为今后进一步研究的重点。
视觉引导工业机器人伺服控制系统设计
摘要:视觉引导的工业机器人的关键技术有:手眼标定、目标追踪、运动控制、实时反馈。其中手眼标定和目标追踪是机器人通过相机获得目标信息、实现精准运动的重要步骤。机器人与视觉技术相融合的首要环节是手眼标定,手眼标定的精度会直接影响机器人的工作任务。

视觉伺服控制算法优化综述

视觉伺服控制算法优化综述

视觉伺服控制算法优化综述摘要:系统论述了视觉伺服控制的应用现状。

重点介绍了针对不同的实际情况,提出优化的基于位置的视觉伺服系统和基于图像的视觉伺服系统的控制算法。

优化后的算法效率高,具有很强的有效性和可行性。

优化后的控制系统功能更强,更精确有效。

关键词:视觉伺服;优化;算法Survey of Visual Servoing control algorithmAbstract:The application status of the visual servo control are reviewed . For differe nt realities , we put fortward an improved positi on-based visual servo systems and image -based visual servo con trol algorithm of the system. High efficie ncy of the improved algorithm has stro ng effective ness and feasibility. The improved con trol system functions stron ger, and become more precise and effective. Keywords Visual Servoi ng;improve;Algorithm1引言随着科技的快速发展,在现代工业自动化生产过程中,机器视觉正成为一种提高生产效率和保证产品质量的关键技术,如机械零件的自动检测、智能机器人控制及生产线的自动监控等。

基于视觉的伺服策略是采用相机所观察的特征来控制机器人移动的一种灵活有效的方法。

视觉伺服主要分为3种:基于位置的视觉伺服(PBVS)、基于图像的视觉伺服(IBVS)和混合控制视觉伺服。

早期的研究主要是基于位置的视觉伺服研究,近年来主要是基于图像的视觉伺服研究。

视觉伺服控制原理

视觉伺服控制原理

视觉伺服控制原理视觉伺服控制是一种利用计算机视觉技术来实现物体精确定位的自动化控制方法。

该控制方法是在计算机视觉技术和传统伺服控制技术的基础上实现的。

它能够在机器人和自动化设备中实现很多任务,如自动化装配、机器人导航和质量检测等。

视觉伺服控制的核心原理是依靠计算机视觉技术来获取复杂的视觉信息,并以此控制机器人或自动化设备的精确位置和运动。

视觉伺服控制系统一般由四个部分组成:图像采集系统、图像处理系统、运动控制系统和控制算法。

图像采集系统可以是相机、激光测距器、扫描器等设备,它能够采集物体的图像信息。

图像处理系统负责从采集到的图像数据中提取出所需要的物体信息,如物体位置、形状和大小等。

运动控制系统根据所提取的物体信息和指令,实现精确定位和运动控制。

控制算法为视觉伺服控制的核心,利用PID控制方法来根据图像处理系统提供的物体信息对物体进行控制。

视觉伺服控制的原理是基于反馈控制的思想。

它实现了机器人和自动化设备的实时跟踪和位置控制。

通过视觉反馈,一旦运动偏离预定轨迹或目标位置,视觉伺服系统即可及时发出控制信号,调整伺服系统的控制策略,控制机器人或自动化设备的方向和速度,使其重新回到目标设定位置,从而实现目标物体的精准定位。

视觉伺服控制主要应用在自动化装配中,如汽车、电子设备的组装线。

此外还可以应用在工业自动化控制和机器人导航等领域。

其优点是精度高、速度快、适应性强、可扩展性好等。

同时也存在一些挑战,如图像噪声影响、系统复杂性、时滞带来的控制问题等。

总的来说,视觉伺服控制在自动化控制领域中发挥着越来越重要的作用。

它可以帮助制造商提高生产效率和产品质量,降低成本,也可以应用在智能制造、智能交通等领域。

随着计算机视觉技术的不断进步,视觉伺服控制将会有更广泛的应用前景。

  1. 1、下载文档前请自行甄别文档内容的完整性,平台不提供额外的编辑、内容补充、找答案等附加服务。
  2. 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
  3. 3、如文档侵犯您的权益,请联系客服反馈,我们会尽快为您处理(人工客服工作时间:9:00-18:30)。

—232—机器人捕捉运动目标的动力学视觉伺服方法邝宏武1,郝矿荣1,丁永生1,2(1. 东华大学信息科学与技术学院,上海 201620;2. 数字化纺织服装技术教育部工程研究中心,上海 201620)摘 要:提出一种机器人捕捉运动目标的动力学视觉伺服方法。

基于位置阻抗控制器,通过双目立体视觉检测并跟踪运动目标的位置,结合CMAC 网络,采用以视觉阻抗的二次型为训练目标的学习型视觉阻抗控制器,用于克服控制器对系统结构参数变化适应性差的缺点,并对阻抗参数进行优化。

实验结果表明,该视觉伺服方法在机器人捕捉运动目标时具有良好的动力学特性和轨迹控制效果。

关键词:运动目标捕捉;视觉阻抗控制;CMAC 网络;Kalman 滤波器Dynamics Visual Servo Method for Robot’s Grasping Moving ObjectKUANG Hong-wu 1, HAO Kuang-rong 1, DING Yong-sheng 1,2(1. College of Information Science and Technology, Donghua University, Shanghai 201620, China;2. Engineering Research Center of Digitized Textile & Fashion Technology of Ministry of Education, Shanghai 201620, China)【Abstract 】This paper proposes a dynamics visual servo method for robot’s grasping moving object. The motion object target position is detected and tracked by dual stereo vision. With CMAC network, a learning visual impedance controller taking the quadratic of vision impedance as training target is adopted. It promotes the adaptability of position controller of the system structure parameters, so the impedance parameters are optimized.Experimental results show that the dynamics characteristics are improved and a flexible trajectory control is obtained with the method. 【Key words 】moving object grasping; vision impedance control; CMAC network; Kalman filter计 算 机 工 程Computer Engineering 第36卷 第18期Vol.36 No.18 2010年9月September 2010·人工智能及识别技术·文章编号:1000—3428(2010)18—0232—03文献标识码:A中图分类号:TP391.411 概述机器人捕捉运动目标是指机器人基于视觉伺服控制完成运动目标的跟踪和抓取,是智能机器人的一个前沿应用课题,在工业、航天和娱乐等领域有良好的应用前景。

在运动目标的捕捉中,机械手必须跟踪并接近目标;另一方面,必须能够感知环境以避开可能的障碍,这需要很高的实时性和抗干扰能力[1]。

此外,系统还受动力学约束、关节几何约束等限制,而这一切都必须在实时的条件下完成。

在运动目标捕捉问题中,机器人工作空间与关节空间的时变非线性映射关系易使运动规划超出关节的驱动能力,从而造成机器人运动偏离期望的轨迹,特别是在机器人高速抓取运动目标及避障时,会引起严重问题。

本文采用动力学视觉伺服方法,可以实现6R 机器人对检测出的运动目标进行实时平稳的跟踪和捕捉。

2 机器人捕捉运动目标的视觉伺服2.1 机器人的动力学视觉伺服视觉伺服控制是一门多学科交叉的研究领域,先由视觉系统采集图像并进行相应处理,然后通过计算估计感兴趣目标的位置来控制机器人运动。

视觉反馈使机器人可以更好地与环境进行交互。

传统的视觉伺服以位置或速度作为反馈输出量,不能实现力约束。

动力学视觉伺服根据视觉检测结果,计算机器人的加速度和关节转矩,实现机器视觉的力反馈作用。

2.2 机器人捕捉运动目标控制系统结构运动目标捕捉系统硬件结构包括6R 机器人、双目立体视觉系统和一台PC ,待捕捉目标在台面上运动。

控制系统以视觉传感器和关节传感器的反馈信息为输入,对输入信息进行预处理,并采用动力学视觉伺服模块,控制6R 机器人完成运动目标捕捉任务,系统硬件结构如图1所示。

S 1:6R 机器人S 2:运动目标z hxO图1 动力学视觉伺服控制系统硬件结构在该视觉伺服控制模块中,阻抗控制能有效利用视觉、力觉和位置编码器等传感器装置获得的环境信息,使机器人与环境有更好的交互作用。

有研究表明,人手的阻抗在多关节运动时起很重要的作用[2],人能在不改变手臂位置和方向的同时,轻易改变其刚性、阻尼等阻抗参数。

Y.Nakabo 提出了视觉阻抗的概念,并建立了一套视觉阻抗算法,文献[3]应用视觉阻抗控制实现机械手的避障,并引入关节阻抗实现了柔顺控制的效果;D.M.Katic 等在阻抗控制中采用神经网络对环境中的不确定信息进行学习,对阻抗控制参数进行一定的补偿。

因此,若能实现较理想的视觉阻抗控制,就能做到柔基金项目:国家自然科学基金资助项目(60775052);国家自然科学基金资助重点项目(60534020);上海市科学技术委员会重点基础研究基金资助项目(09JC1400900);上海市人才发展资金资助项目(001); 上海市领军人才后备人选专项资金资助项目作者简介:邝宏武(1984-),男,硕士研究生,主研方向:机器视觉,机器人控制;郝矿荣,教授、博士后、博士生导师;丁永生,教授、博士、博士生导师收稿日期:2010-03-09 E-mail :krhao@—233—顺地捕捉运动目标。

通过机器视觉,可以检测并计算出机器人末端和待捕捉运动目标的位置信息。

假定机器人末端与运动目标之间存在虚拟接触力E F ,E F 按二阶阻抗模型,根据视觉反馈信息进行计算。

E F 在机器人自由运动时能引导机器人末端接近运动目标,在进入受限状态后,能减小机器人的运动超调量,使得运动目标捕捉过程具有柔顺的特性,如图2所示。

X (t(a)自由运动阶段 (b)受限运动阶段图2 运动目标捕捉系统硬件结构2.3 基于Kalman 滤波器的视觉反馈信息处理在机器人视觉伺服控制中,实时性问题是一个难以解决的重要问题,图像采集和处理速度较慢给系统带来明显的时滞,因此,需要对视觉反馈信息的测量误差进行滤波处理。

对于运动方程易于建模的情况,可直接求解运动方程参数来实现预测。

如Giorgio C.Buttazzo 等采用二阶滤波器进行数字滤波,然后建立直线运动方程对目标实现运动估计,这种方法针对的是可以预先估计的目标运动模型。

另外,粒子滤波在处理非线性运动目标跟踪问题上具有特殊的优势[4],但是需要用大量的样本数量。

捕捉运动目标时,目标轨迹模型难以预先确定,Kalman 滤波器对模型先验知识的依赖性小,能有效抑制运动目标视觉检测误差的干扰,其计算量小、可实时计算的特点符合视觉信息实时反馈的要求。

采用三维卡尔曼滤波器对运动目标点进行跟踪[5],可以减小由于遮挡产生的检测数据的不连续性,并缩小图像搜索范围。

Kalman 滤波器的系统运动方程为:1k k k k −=++x Ax ωBu ω (1)其中,R n k ∈x ,T T T000⎡⎤=⎣⎦x x x 是运动目标的位置状态向量;随机信号k ω表示过程激励噪声;k u 是控制变量;n n ×阶增益矩阵A 将上一时刻1k −的状态线性映射到当前时刻k 的状态,n l ×阶矩阵B 代表可选的控制输入R l k ∈u 的增益。

量测方程为:k k k =+z Hx v (2) 其中,k v 表示观测噪声;m n ×阶矩阵H 表示状态变量k x 对测量变量k z 的增益。

实际中显然不知道每一时刻噪声k w 和k v 各自的值,但是可以认为目标在一定时间内是静止的,因此,将它们假设为0。

图3给出了原始轨迹经滤波后平滑而得到的沿目标运动方向的预估位置,证明Kalman 滤波器能对视觉检测中存在的误差和滞后影响起一定的补偿作用。

6005004003002001000100200300400500600700800含测量误差的原始轨迹Kalman 滤波后轨迹x /mmy /m mF MX XDX XK X X (3)其中,E F 为理想阻抗或期望的动作;X 为手爪位置;d X 为末端的期望轨迹,在运动目标捕捉时为运动目标的轨迹;目标位置d 0=X ,d=⋅X J q ;I M 为机器人的惯性系数矩阵,在有较大加速度的高速运动或会产生冲击的运动中影响较大;I D 为阻尼系数矩阵,在中速运动或有较强干扰作用时影响较大;I K 是刚性系数矩阵,在平衡状态附近的低速运动时影响较大。

机器人的动力学模型为:T E ()(,)+=−⋅M q qh q q τJ F (4) 手爪的加速度为:e=+X Jq Jq (5) 控制力矩可表示为:1T eE ()()()(,)−=−++⋅τM q J q X Jq h q q JF (6) 假设机器人缓慢动作,且不考虑摩擦等影响时,可以认为e0=X 、0=Jq 、(,)0=h q q ,则: T E =⋅τJ F (7)阻抗控制需要传感器检测末端和目标的接触力,而视觉阻抗控制根据末端和目标的相对位置计算出阻抗力。

随着计算机视觉技术的发展,可以对运动目标进行实时的视觉检测,获取机器人末端和运动目标的位置,将视觉反馈信息与阻抗控制相结合,使机器人系统跟踪目标阻抗,并保证阻抗跟踪误差的渐近收敛。

为了确保机器人末端与运动目标之间不产生刚性冲击,假定运动目标存在虚拟的包围球接触面,定义其半径为b R ,则机器人末端与运动目标的刚性距离可定义为:()bd d 1R ⎛⎞′Δ=−−⎜⎟⎜⎟−⎝⎠X X X X X (8) 运动目标捕捉时,定义视觉阻抗为:E I I I′=Δ+Δ+ΔF M X D X K X (9) 基于视觉阻抗补偿的运动目标捕捉系统结构如图4所示,其根据视觉阻抗反馈控制机器人末端快速接近运动目标,实现对运动目标的捕捉。

相关文档
最新文档