机器人视觉伺服定位控制与目标抓取课件
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
机器人抓取面临着挑战
随着机器人技术的发展，机器人越来越多的融入到人的生活和工作环境中， 代替人类完成各种作业，这必然要求机器人承担对比工业生产更加复杂的操 作务，比如机器人端茶倒水，递送物品，自动拣握工具等等。智机器人代表 了机器人发展的尖端技术，在日常生活、医疗、航天等领域具有广泛的用。 一方面，我们希望机器人具备一定自主性学习和自协调能力，且能够通过 学习掌握在新环境下操作的技能。 另一面，机器人对物体抓取操作是其自主作业当中经常面临的一个问题， 目前传统工业机器人定式的操作方式，限制了机器人抓取的自主性。
一般来说，抓取需要解机决器人的视觉两伺服个定位基控制本与目问标抓题取 ：抓哪里，Where？4 怎 么去抓，How？
二 机器人抓取研究现状
r 解析抓取法
解析法使用动力学评价准则(如: force-closure)来估算抓取的稳定性，然 后寻求合适抓取方案，使得这个评价准则达到最优。该方法属于传统的抓 取方法，在2000年前占主导地位。
机器人视觉伺服定位控制与目标抓取 深度学习网络
11
深度学习简介（插入）
人脑视觉机理
n神经-中枢-大脑的工作过程，或许是一个不断迭代、不断抽象的过程。 n人的视觉系统的信息处理是分级的。从低级的V1区提取边缘特征，再到V2区的形 状或者目标的部分等，再到更高层，整个目标、目标的行为等。
机器人视觉伺服定位控制与目标抓取
抓取学习/ 人工示范
特征
抓取模式 数据库
目标分割 特征
抓取生成 与判定பைடு நூலகம்
抓取
执行
矢量 机器人系统 结果
评价系统
场景/ 约束条件
该方法的前提要求：1）完整机的器人目视标觉伺几服定何位模控制型与目（标2抓/3取D）信息；
6
2）机器人视觉系统严格标定，已知机械臂动力学模型。
二 机器人抓取研究现状
r 抓取类型一：3D目标抓取
机器人视觉伺服定位控制与目标抓取
9
人机交互抓取
二 机器人抓取研究现状
综上抓取方法可知：
1) 解析建模抓取法需要对目标进行2D/3D建模，在复杂环境下建模精度难 以保证。
2) 经验学习抓取法通过学习或模仿人的抓取，在一定程度上克服了解析抓 取法建模的固有缺陷。但是，现有学习算法在稀疏样本学习中，算法的 学习能力有限，机器人缺乏对新物体抓取的能力。
缺点：依赖于物体的7 3D 信息，3D计算复杂。
二 机器人抓取研究现状
r 抓取类型二：2D位置学习抓取
直接从2D图像平面学习获取抓取位置，该方法首先采用人工标记抓取点 的合成图像，提取分类图像特征向量，应用机器学习方法来训练抓点。
机器人单抓取点学习
机器人多抓取点学习
该方法实施步骤：给定视觉场景 学习模型得出抓取点 机器人视觉伺服定位控制与目标抓取 机器人动力学运动规划。
算法避免了特征抽取过程中了
人为的干预，同时深度学习解
决了传统多层神经网络学习过
程局部收敛和过适性问题，深
受业内的广泛关注，如括谷歌、
百度在内的众多机构成立专门
的部门致力于该学习算法的研
究。
目前深度学习已经成功用
于图像检索，语音识别，自然
语言处理等领域，而该算法在
机器人视觉领域的应用还处在
刚刚起步阶段。
手模型
动力学 接触点
目标模型
力闭合
抓取准则
抓取生成
预选抓
抓取
取点 最优抓取判定 矢量
执行
机器人系统 结果
评价系统
任务约束
该方法的前提要求：1）精确机的器人机视械觉伺手服定动位力控制学与目模标型抓取、目标物理模型；
5
2）机械手相对与目标物的位势信息。
二 机器人抓取研究现状
r 经验学习抓取法
首先通过观察学习人的抓取，根据任务约束、然后学习系统产生一种 最佳的抓取模式，该方法的核心思想是基于模仿与学习理论 。
计算抓取参数 8
二 机器人抓取研究现状
r 抓取类型三：高级人工智能学习抓取
模仿抓取：通过观察人抓取目标的姿态，识别出人的抓取方式， 进而映射到机器人抓取系统中。
机器人模仿抓取
交互抓取：把人的操作嵌入到
机器人的控制循环中，对机器
人进行交互训练，使得机器人
自动产生抓取动作，最终把人
的抓取技能传授给机器人 。
机器人视觉伺服定位控制与目标抓取
3
机器人抓取操作
一 机器人抓取 VS 人的抓取
人抓取的特性：灵活自主
对人而言，手不仅能够根据不同形状和不同尺寸的物体采取不同的抓 取姿态(如图所示)，而且人手抓取过程中，手的位置和方向能根据环境不 断地自主调整 。这反映出人抓取过程的自主性与协调性。
然而，对于机器人，则是不同，因为目前绝大多数机器人的操作行为 是在定式（标定）工作环境中进行的。改变传统定式的工作方式，攻克机 器人灵巧自主抓取问题是当今机器人研究领域的一个难点和热点。
12
深度学习简介（插入）
关于特征
【通过传感器（例如CMOS）获得数据，然后经过预处理、特征提取、特征选择，再到推理、预测或者识别。】
机器人视觉伺服定位控制与目标抓取
13
深度学习简介（插入）
特征表示的粒度
n学习算法在一个什么粒度上的特征表示，才有能发挥作用？ n素级特征 结构性
机器人视觉伺服定位控制与目标抓取
3) 基于解析法和经验法的机器人抓取过程中，手臂的协调与定位都是需要 预先标定，而后求取机器人的逆动力学进行控制的。标定除了带来复杂 的计算外，同时也限制了机器人应用的拓广。
机器人视觉伺服定位控制与目标抓取
10
三 基于多模特征深度学习的机器人抓取判别
深度学习
2006年多伦多大学Hinton等人
在Science杂志上提出，该学习
XIAMEN UNIVERSITY
机器人视觉伺服定位控制与目标抓取
机器人视觉伺服定位控制与目标抓取
20117.5
内容
机器人抓取及其研究现状 机器人抓取位姿判别 基于视觉伺服的机器人定位控制 机器人视觉反馈控制在工业上的应用 总结
机器人视觉伺服定位控制与目标抓取
2
一 机器人抓取 VS 人的抓取
1、一种基于局部随机采 样一致性鲁棒几何描述的 3D匹配与位势估计抓取 方法，该方法在噪声、遮 挡环境测试中取得良好抓 取效果。
实例1 3D几何匹配抓取 实例2 3D位势估机计器人抓视觉取伺服定位控制与目标抓取
2、综合双目和单目视觉 信息、以及物体表面与几 何模型实现深度提取、目 标区域分割，以及位势估 计，该抓取系统在遮挡、 光照变化的室内环境中实 现了机器人抓取操作
随着机器人技术的发展，机器人越来越多的融入到人的生活和工作环境中， 代替人类完成各种作业，这必然要求机器人承担对比工业生产更加复杂的操 作务，比如机器人端茶倒水，递送物品，自动拣握工具等等。智机器人代表 了机器人发展的尖端技术，在日常生活、医疗、航天等领域具有广泛的用。 一方面，我们希望机器人具备一定自主性学习和自协调能力，且能够通过 学习掌握在新环境下操作的技能。 另一面，机器人对物体抓取操作是其自主作业当中经常面临的一个问题， 目前传统工业机器人定式的操作方式，限制了机器人抓取的自主性。
一般来说，抓取需要解机决器人的视觉两伺服个定位基控制本与目问标抓题取 ：抓哪里，Where？4 怎 么去抓，How？
二 机器人抓取研究现状
r 解析抓取法
解析法使用动力学评价准则(如: force-closure)来估算抓取的稳定性，然 后寻求合适抓取方案，使得这个评价准则达到最优。该方法属于传统的抓 取方法，在2000年前占主导地位。
机器人视觉伺服定位控制与目标抓取 深度学习网络
11
深度学习简介（插入）
人脑视觉机理
n神经-中枢-大脑的工作过程，或许是一个不断迭代、不断抽象的过程。 n人的视觉系统的信息处理是分级的。从低级的V1区提取边缘特征，再到V2区的形 状或者目标的部分等，再到更高层，整个目标、目标的行为等。
机器人视觉伺服定位控制与目标抓取
抓取学习/ 人工示范
特征
抓取模式 数据库
目标分割 特征
抓取生成 与判定பைடு நூலகம்
抓取
执行
矢量 机器人系统 结果
评价系统
场景/ 约束条件
该方法的前提要求：1）完整机的器人目视标觉伺几服定何位模控制型与目（标2抓/3取D）信息；
6
2）机器人视觉系统严格标定，已知机械臂动力学模型。
二 机器人抓取研究现状
r 抓取类型一：3D目标抓取
机器人视觉伺服定位控制与目标抓取
9
人机交互抓取
二 机器人抓取研究现状
综上抓取方法可知：
1) 解析建模抓取法需要对目标进行2D/3D建模，在复杂环境下建模精度难 以保证。
2) 经验学习抓取法通过学习或模仿人的抓取，在一定程度上克服了解析抓 取法建模的固有缺陷。但是，现有学习算法在稀疏样本学习中，算法的 学习能力有限，机器人缺乏对新物体抓取的能力。
缺点：依赖于物体的7 3D 信息，3D计算复杂。
二 机器人抓取研究现状
r 抓取类型二：2D位置学习抓取
直接从2D图像平面学习获取抓取位置，该方法首先采用人工标记抓取点 的合成图像，提取分类图像特征向量，应用机器学习方法来训练抓点。
机器人单抓取点学习
机器人多抓取点学习
该方法实施步骤：给定视觉场景 学习模型得出抓取点 机器人视觉伺服定位控制与目标抓取 机器人动力学运动规划。
算法避免了特征抽取过程中了
人为的干预，同时深度学习解
决了传统多层神经网络学习过
程局部收敛和过适性问题，深
受业内的广泛关注，如括谷歌、
百度在内的众多机构成立专门
的部门致力于该学习算法的研
究。
目前深度学习已经成功用
于图像检索，语音识别，自然
语言处理等领域，而该算法在
机器人视觉领域的应用还处在
刚刚起步阶段。
手模型
动力学 接触点
目标模型
力闭合
抓取准则
抓取生成
预选抓
抓取
取点 最优抓取判定 矢量
执行
机器人系统 结果
评价系统
任务约束
该方法的前提要求：1）精确机的器人机视械觉伺手服定动位力控制学与目模标型抓取、目标物理模型；
5
2）机械手相对与目标物的位势信息。
二 机器人抓取研究现状
r 经验学习抓取法
首先通过观察学习人的抓取，根据任务约束、然后学习系统产生一种 最佳的抓取模式，该方法的核心思想是基于模仿与学习理论 。
计算抓取参数 8
二 机器人抓取研究现状
r 抓取类型三：高级人工智能学习抓取
模仿抓取：通过观察人抓取目标的姿态，识别出人的抓取方式， 进而映射到机器人抓取系统中。
机器人模仿抓取
交互抓取：把人的操作嵌入到
机器人的控制循环中，对机器
人进行交互训练，使得机器人
自动产生抓取动作，最终把人
的抓取技能传授给机器人 。
机器人视觉伺服定位控制与目标抓取
3
机器人抓取操作
一 机器人抓取 VS 人的抓取
人抓取的特性：灵活自主
对人而言，手不仅能够根据不同形状和不同尺寸的物体采取不同的抓 取姿态(如图所示)，而且人手抓取过程中，手的位置和方向能根据环境不 断地自主调整 。这反映出人抓取过程的自主性与协调性。
然而，对于机器人，则是不同，因为目前绝大多数机器人的操作行为 是在定式（标定）工作环境中进行的。改变传统定式的工作方式，攻克机 器人灵巧自主抓取问题是当今机器人研究领域的一个难点和热点。
12
深度学习简介（插入）
关于特征
【通过传感器（例如CMOS）获得数据，然后经过预处理、特征提取、特征选择，再到推理、预测或者识别。】
机器人视觉伺服定位控制与目标抓取
13
深度学习简介（插入）
特征表示的粒度
n学习算法在一个什么粒度上的特征表示，才有能发挥作用？ n素级特征 结构性
机器人视觉伺服定位控制与目标抓取
3) 基于解析法和经验法的机器人抓取过程中，手臂的协调与定位都是需要 预先标定，而后求取机器人的逆动力学进行控制的。标定除了带来复杂 的计算外，同时也限制了机器人应用的拓广。
机器人视觉伺服定位控制与目标抓取
10
三 基于多模特征深度学习的机器人抓取判别
深度学习
2006年多伦多大学Hinton等人
在Science杂志上提出，该学习
XIAMEN UNIVERSITY
机器人视觉伺服定位控制与目标抓取
机器人视觉伺服定位控制与目标抓取
20117.5
内容
机器人抓取及其研究现状 机器人抓取位姿判别 基于视觉伺服的机器人定位控制 机器人视觉反馈控制在工业上的应用 总结
机器人视觉伺服定位控制与目标抓取
2
一 机器人抓取 VS 人的抓取
1、一种基于局部随机采 样一致性鲁棒几何描述的 3D匹配与位势估计抓取 方法，该方法在噪声、遮 挡环境测试中取得良好抓 取效果。
实例1 3D几何匹配抓取 实例2 3D位势估机计器人抓视觉取伺服定位控制与目标抓取
2、综合双目和单目视觉 信息、以及物体表面与几 何模型实现深度提取、目 标区域分割，以及位势估 计，该抓取系统在遮挡、 光照变化的室内环境中实 现了机器人抓取操作