【CN110238840A】一种基于视觉的机械臂自主抓取方法【专利】
基于双目立体视觉的机械臂定位抓取的方法及设备的制作技术
图片简介:本申请涉及一种基于双目立体视觉的机械臂定位抓取的方法及装置。
该方法包括确定世界坐标系与机械臂坐标系之间的转换关系；通过尺度不变特征变换SIFT特征匹配规则对目标电力仪表进行分类和识别；计算所述目标电力仪表在世界坐标系中的第一目标位置，并根据所述世界坐标系与所述机械臂坐标系之间的转换关系确定所述第一目标位置在机械臂坐标系中的第二目标位置；根据所述目标电力仪表的类别特征和所述第二目标位置对所述目标电力仪表进行抓取。
本技术可以提高仪表抓取的精度；将待检仪表放置在旋转平台可以使整个检定系统提高检定效率。
技术要求1.一种基于双目立体视觉的机械臂定位抓取的方法，所述方法包括：通过双目相机拍摄第一参照物，根据所述第一参照物在世界坐标系以及相机坐标系中的位置，确定所述世界坐标系与所述相机坐标系之间的转换关系；通过双目相机和机械臂确定第二参照物，根据所述第二参照物在所述相机坐标系以及机械臂坐标系中的位置，确定所述相机坐标系与所述机械臂坐标系之间的转换关系；根据所述世界坐标系与所述相机坐标系之间的转换关系，以及所述相机坐标系与所述机械臂坐标系之间的转换关系，确定所述世界坐标系与所述机械臂坐标系之间的转换关系；通过所述双目相机获得各仪表在仪表候检区的世界坐标信息，以使所述机械臂根据所述各仪表在所述仪表候检区的世界坐标信息抓取所述各仪表，并放置在检定流水线的传输带上；通过尺度不变特征变换SIFT特征匹配规则，对仪表候检区的各仪表的型号进行识别和分类，得到目标电力仪表的类别特征，以使被识别的仪表被传输带运输至与型号相应的仪表检定区；计算所述目标电力仪表在所述世界坐标系中的第一目标位置，并根据所述世界坐标系与所述机械臂坐标系之间的转换关系确定所述第一目标位置在机械臂坐标系中的第二目标位置；根据所述目标电力仪表的类别特征和所述第二目标位置对所述目标电力仪表进行抓取。
2.根据权利要求1所述的基于双目立体视觉的机械臂定位抓取的方法，其特征在于，所述机械臂上还设有夹爪，所述根据所述目标电力仪表的类别特征和所述第二目标位置对所述目标电力仪表进行抓取包括：根据所述目标电力仪表的类别特征和所述第二目标位置将所述夹爪移动至所述目标电力仪表的预设位置；控制所述夹爪夹紧以抓取所述目标电力仪表。
基于视觉检测的机械臂抓取算法研究
基于视觉检测的机械臂抓取算法研究摘要：机械臂抓取算法在自动化领域中扮演着重要角色，而基于视觉检测的机械臂抓取算法能够使机械臂更加智能化和精确化。
本文主要研究了基于视觉检测的机械臂抓取算法，探讨了其原理、方法和应用，并对未来的研究方向进行了展望。
1. 引言机械臂是一种能够模拟人类手臂运动的机器人系统，广泛应用于工业制造、医疗、农业等领域。
机械臂的抓取能力是其关键技术之一，而传统的机械臂抓取算法往往依赖于预先设定的抓取规则，存在适应性差、精度低等问题。
而基于视觉检测的机械臂抓取算法通过使用摄像头和图像处理技术，使机械臂能够根据场景中的视觉信息灵活地调整抓取策略，提高抓取的成功率和稳定性。
2. 基于视觉检测的机械臂抓取算法原理基于视觉检测的机械臂抓取算法主要包括目标检测和姿态估计两个主要步骤。
目标检测通过对摄像头获取到的图像进行处理和分析，确定要抓取的目标物体的位置和形状。
姿态估计则是根据目标物体的位置和形状信息，计算出机械臂需要采取的姿态和抓取策略。
3. 基于视觉检测的机械臂抓取算法方法基于视觉检测的机械臂抓取算法有多种实现方法，其中比较常见的方法包括基于模板匹配、深度学习和三维重建的算法。
模板匹配是一种比较简单直观的方法，通过将目标物体的模板与实际图像进行匹配，来确定目标物体的位置和形状。
深度学习算法则通过训练神经网络来学习目标物体的特征，实现目标检测和姿态估计功能。
三维重建算法则通过对多个图像进行拍摄和分析，生成目标物体的三维模型，进而计算出机械臂的姿态和抓取策略。
4. 基于视觉检测的机械臂抓取算法应用基于视觉检测的机械臂抓取算法在现实生活中有广泛的应用前景。
在工业制造领域，机械臂可以根据目标物体的位置和形状，对物体进行精准的抓取和摆放，提高生产效率和质量。
在医疗方面，机械臂可以用于辅助手术和病人护理，实现精确的操作和治疗。
在农业领域，机械臂可以用于果蔬的采摘和分类，提高农业生产的自动化水平。
5. 基于视觉检测的机械臂抓取算法研究进展目前，基于视觉检测的机械臂抓取算法在研究与应用中取得了一些成果，但仍存在一些挑战和问题。
一种机械臂的抓取方法及装置
一种机械臂的抓取方法及装置
机械臂的抓取方法和装置有很多种，以下列举一种常见的方法及装置：
抓取方法：并行抓取
抓取装置：并行夹爪
实现步骤：
1. 设计夹爪结构：并行夹爪通常由两个对称的夹爪组成，每个夹爪由若干个活动指节和夹持器组成。
2. 安装夹爪：将夹爪安装在机械臂的末端，通常需要使用连接杆或者接口来夹紧并固定夹爪。
3. 控制夹爪动作：通过控制机械臂的伺服电机或液压缸，控制夹爪的开合动作。
4. 感知目标物体：使用传感器等装置，检测目标物体的位置、形状和质量信息。
5. 规划抓取路径：根据目标物体的信息，进行抓取路径的规划，确保夹爪能够准确抓取目标物体。
6. 执行抓取动作：根据路径规划的结果，控制机械臂和夹爪进行抓取动作，使夹爪准确地抓住目标物体。
7. 确认抓取结果：通过传感器或者视觉系统，确认夹爪是否成功抓取目标物体。
8. 完成抓取任务：根据抓取结果，决定是否进行进一步操作，如搬运、放置或者重新抓取。
以上是一种常见的机械臂抓取方法及装置的实现步骤，具体的设计和实现会根据具体应用场景和需求的不同而有所差异。
基于视觉和触觉的机械臂抓取方法、系统、装置[发明专利]
![基于视觉和触觉的机械臂抓取方法、系统、装置[发明专利]](https://img.taocdn.com/s3/m/112888f56037ee06eff9aef8941ea76e58fa4a0a.png)
(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号 (43)申请公布日 (21)申请号 201910629058.5(22)申请日 2019.07.12(71)申请人 中国科学院自动化研究所地址 100190 北京市海淀区中关村东路95号(72)发明人 李玉苹 蒋应元 乔红 (74)专利代理机构 北京市恒有知识产权代理事务所(普通合伙) 11576代理人 郭文浩 尹文会(51)Int.Cl.G06T 7/70(2017.01)G06T 5/00(2006.01)(54)发明名称基于视觉和触觉的机械臂抓取方法、系统、装置(57)摘要本发明属于工业机器人领域，具体涉及一种基于视觉和触觉的机械臂抓取方法、系统、装置，旨在解决机械臂在不同光照条件下抓取工业零件成功率低的问题。
本发明方法包括：获取光照强度；若光照强度小于设定阈值，提取待抓取目标图像，与对应的全局模型匹配后获取目标的第一姿态；对目标图像进行阴影移除；基于第一姿态，采用迭代最近点和高斯-牛顿算法，基于全局模型获取与去除阴影的目标图像匹配的最终识别姿态；若光照强度大于阈值，获取目标的触觉图像，与预先构建的目标的触觉图像与姿态对应关系知识库匹配后获取目标的最终识别姿态；机械臂根据最终识别姿态及位置信息进行抓取。
本发明提高了机械臂在不同光照条件下对工业零件抓取的成功率。
权利要求书2页 说明书8页 附图3页CN 110428465 A 2019.11.08C N 110428465A1.一种基于视觉和触觉的机械臂抓取方法，其特征在于，该方法包括：步骤S10，获取待抓取目标的光照强度，若该光照强度在设定阈值范围之内则执行步骤S20，否则执行步骤S50；步骤S20，基于所述待抓取目标的拍摄图像进行目标图像的提取，得到第一图像，并基于所述待抓取目标对应的全局模型通过视图匹配的方法获取所述待抓取目标的姿态，作为第一姿态；步骤S30，对所述第一图像进行阴影移除，得到第二图像；步骤S40，以所述第一姿态为初始姿态，采用迭代最近点算法和高斯-牛顿算法，基于所述待抓取目标对应的全局模型获取与所述第二图像匹配的第二姿态，将所述第二姿态作为最终识别姿态，执行步骤S60；步骤S50，获取所述待抓取目标的触觉图像，基于预先构建的所述待抓取目标的触觉图像与姿态对应关系知识库，通过触觉图像匹配的方法获取所述待抓取目标的第三姿态，将所述第三姿态作为最终识别姿态；步骤S60，机械臂根据得到的所述最终识别姿态，以及获取的所述待抓取目标的位置信息进行所述待抓取目标的抓取。
一种新型机械臂动态抓取系统[发明专利]
![一种新型机械臂动态抓取系统[发明专利]](https://img.taocdn.com/s3/m/e70051ea16fc700aba68fc27.png)
专利名称：一种新型机械臂动态抓取系统专利类型：发明专利
发明人：许志敏,魏海峰
申请号：CN201910719497.5
申请日：20190805
公开号：CN110253588A
公开日：
20190920
专利内容由知识产权出版社提供
摘要：本发明涉及工业生产领域，具体地说，就是一种新型机械臂动态抓取系统，包括自由度机械臂模块、语音识别模块、摄像头模块、VGA显示模块、FPGA模块，自由度机械臂模块包括六个舵机、控制板，将六个舵机分别设定为舵机一、舵机二、舵机三、舵机四、舵机五、舵机零，舵机四控制机械臂的抓取方向，舵机五连接转动关节与机械手，控制机械臂的张合，转动关节部分均设置为最大的转动角度，控制板与六个舵机相连。
本发明不同于传统的人工操作机械臂抓取，而是采用FPGA 来实现图像识别，后由六自由度机械臂实时智能抓取物体，自动化程度大大提升，且工作效率大大提高，采用语音识别的方式来控制系统的启停，更加方便、便捷、安全，适用于工业领域中机械臂抓取任务。
申请人：江苏科技大学
地址：212003 江苏省镇江市梦溪路2号
国籍：CN
代理机构：南京正联知识产权代理有限公司
代理人：杭行
更多信息请下载全文后查看。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
(19)中华人民共和国国家知识产权局
(12)发明专利申请
(10)申请公布号 (43)申请公布日 (21)申请号 201910335507.5
(22)申请日 2019.04.24
(71)申请人 中山大学
地址 510275 广东省广州市海珠区新港西
路135号
(72)发明人 成慧 蔡俊浩 苏竟成
(74)专利代理机构 广州粤高专利商标代理有限
公司 44102
代理人 陈伟斌
(51)Int.Cl.
B25J 9/16(2006.01)
(54)发明名称
一种基于视觉的机械臂自主抓取方法
(57)摘要
本发明涉及机器人技术领域，更具体地，涉
及一种基于视觉的机械臂自主抓取方法。
提出了
基于对抗抓取规则的纠正抓取策略，利用该策略
可以实现在仿真平台进行试错抓取得到符合该
规则的抓取样本。
利用该方法采集的样本清晰的
表达了对抗抓取规则的抓取模式，有利于模型的
学习。
整个数据采集过程无需人工干预，也无需
任何真实数据，避免了真实数据采集可能带来的
问题。
只需要少量该方法采集的仿真数据，训练
后的模型可以直接应用到不同的真实的抓取场
景中。
整个训练过程无需域自适应和域随机化操
作，
且准确率和鲁棒性高。
权利要求书3页 说明书7页 附图2页CN 110238840 A 2019.09.17
C N 110238840
A
1.一种基于视觉的机械臂自主抓取方法，其特征在于，包括以下步骤：
S1.在仿真环境中，搭建一个类似于现实场景的环境，并采集全局图像；
S2.对数据进行处理，预处理后的数据包括：包含整个工作空间信息的全局图像、物体掩膜以及与全局图像相同尺度的标签图；处理过程包括：首先根据图像中物体所在像素的位置集合生成物体掩膜，再根据物体掩膜、抓取像素位置和抓取标签生成标签掩膜，以及用抓取位置和抓取标签生成标签图；然后根据抓取问题定义，对抓取角度进行离散化；
S3.训练深度神经网络：
(1)将输入RGB图进行归一化，然后合成一个批；
(2)将该批数据传入全卷积神经网络，得到输出值；
(3)根据结合标签掩膜的交叉熵误差，计算预测值与标签的误差，通过如下损失函数计
算：
其中Y为标签图，M为标签掩膜，表示最后一层卷积层的输出特征图；S4.将训练好的模型应用到真实抓取环境中。
2.根据权利要求1所述的一种基于视觉的机械臂自主抓取方法，其特征在于，所述的S1步骤具体包括：
S11.在仿真环境的工作空间放置一个背景纹理、带夹持器的机械臂、摄像头和待抓取物体；
S12.将物体放置在工作空间中，利用摄像头选择一个存在物体的位置，记录图像信息、抓取点对应的像素位置、图像中物体的掩膜和抓取角度，然后随机选择一个角度让机械臂进行试错抓取；
S13.判断是否抓取成功，如果抓取失败，则直接保存图像信息I、图像中物体所在像素的位置集合C、抓取点对应的像素位置p、抓取角度ψ以及抓取失败的标签l；若抓取成功，则重新记录全局图像I ′以及对应的图像中物体所在像素的位置集合C ′，然后将图像信息I ′、图像中物体所在像素的位置集合C ′、抓取点对应的像素位置p、抓取角度ψ以及抓取成功的标签l保存下来。
3.根据权利要求2所述的一种基于视觉的机械臂自主抓取方法，其特征在于，所述的抓取问题定义包括：定义垂直平面抓取为g＝(p，ω，η)，其中p＝(x，y，z)表示笛卡尔坐标下抓取点的位置，ω∈[0，2π)表示终端的旋转角度，
是一个3维的一位有效编码，用来表示抓取功能；抓取功能共分为可抓取、不可抓取和背景三种；当投影到图像空间中，抓取在
图像I可以表示为
其中表示图像中的抓取位置，表示离散抓取角度；图像中的每一个像素都可以定义抓取功能，所以整个抓取功能图可以表示为：
其中为给定第i个角度下图像的抓取功能图；该图中3个通道分别表示可抓取、不可抓取和背景三种类别；从每个抓取功能图
C i 中抽出第一个通道
并结合在一起组成4.根据权利要求3所述的一种基于视觉的机械臂自主抓取方法，其特征在于，最鲁棒的
权 利 要 求 书1/3页2CN 110238840 A。