基于点云模板匹配技术的机械臂定位抓取系统及方法与设计方案

合集下载

机械臂抓取基于基线的方法

机械臂抓取基于基线的方法

机械臂抓取基于基线的方法机械臂抓取是机器人领域中的关键技术之一,对于实现自主操作和执行多样化任务具有重要意义。

在机械臂抓取技术中,基于基线的方法是一种最常见、应用广泛的方法。

本文将介绍基于基线的机械臂抓取方法的原理、步骤和应用,并探讨其在实际场景中的指导意义。

基于基线的机械臂抓取方法是一种通过计算机视觉和运动规划的方式,利用机械臂的运动能力在不同的场景中进行抓取任务。

其基本原理是通过对目标物体的视觉感知和场景分析,确定机械臂的抓取姿态和运动轨迹,从而完成抓取任务。

在具体实施基于基线的机械臂抓取方法时,首先需要对目标物体进行视觉感知和建模。

通过使用相机等感知设备,获取目标物体的图像信息,并利用计算机视觉算法进行图像处理和物体识别,提取出目标物体的特征信息和空间位置。

接下来,根据目标物体的特征信息和空间位置,确定机械臂的抓取姿态和运动轨迹。

通过运动规划算法,将机械臂的末端执行机构移动到合适的位置和姿态,使得手爪可以准确地抓取目标物体。

同时,还需要考虑机械臂和目标物体之间的碰撞检测和避障问题,以确保抓取过程的安全性和稳定性。

基于基线的机械臂抓取方法在工业领域和服务机器人领域有着广泛的应用。

在工业领域,机械臂抓取技术可以用于自动化生产线上的物品抓取和搬运任务,提高生产效率和质量。

在服务机器人领域,机械臂抓取技术可以用于物品递送、清洁和维护等任务,提升机器人的应用能力和人机交互体验。

基于基线的机械臂抓取方法具有以下几点指导意义。

首先,可以提高机械臂的自主操作能力,实现更加复杂、多样化的任务。

其次,可以提高机械臂在复杂环境下的适应性和鲁棒性,保证抓取任务的稳定性和可靠性。

此外,还可以为机器人系统的智能化和自主学习提供基础,进一步提升机器人的人工智能水平。

综上所述,基于基线的机械臂抓取方法是一种重要的机器人技术,具有广泛的应用前景和指导意义。

未来,随着计算机视觉和运动规划算法的进一步发展和完善,基于基线的机械臂抓取方法将在各个领域中发挥更加重要的作用,推动机器人技术的发展和创新。

智行mini2小型服务机器人机械臂的抓取毕业设计

智行mini2小型服务机器人机械臂的抓取毕业设计

智行mini2小型服务机器人机械臂的抓取毕业设计
随着智能服务机器人的发展,机器人的机械臂已成为重要的组成部分
之一、机械臂的抓取技术是机器人能否完成任务的关键之一、本文以智行mini2小型服务机器人的机械臂抓取技术为研究对象,探讨其实现和优化
方法。

1.检测并定位目标物体:机器人需要实时检测并识别出目标物体的位置,确定抓取的精确位置和方向。

2.计算抓取姿态:抓取姿态是指机械臂在抓取目标物体时的姿态,需
要根据目标物体的形状大小和位置等信息进行计算,并确定最佳的抓取方式。

3.确定抓取策略:根据目标物体的重量、形状、大小、表面特性等信
息确定最佳的抓取方式。

4.安全抓取:机器人需要保障抓取物体的安全,防止物体掉落或损坏。

为了更好地完成以上任务,以下是机械臂抓取技术的实现和优化方法:
1.激光传感器定位:对于小型机器人,激光传感器可以较准确地定位
目标物体,提高机器人抓取的精度和效率。

2.抓取姿态预测算法:利用机器学习等算法,根据目标物体的几何形状、表面特性、摩擦系数等信息,预测最佳的抓取姿态,提高机器人抓取
的成功率。

3.反馈机制优化:引入力传感器等反馈机制,实时监测机器人抓取的
情况,及时调整抓取力度和位置,保障抓取过程中的安全性和稳定性。

机械臂抓取技术的实现和优化对于智能服务机器人的性能提升具有重要作用。

未来随着技术的发展,机械臂的抓取技术将会更加成熟可靠,服务机器人将能够更好地为人类提供服务。

机械臂抓取基于基线的方法

机械臂抓取基于基线的方法

机械臂抓取基于基线的方法
基于基线的机械臂抓取方法是一种常见的机械臂抓取方法,其基本思想是通过计算物体在图像上的视差值,然后根据视差值计算物体在真实世界中的三维位置,进而确定机械臂抓取的位置和姿态。

具体步骤如下:
1. 获取图像:使用相机或传感器获取物体的图像。

2. 特征提取:通过图像处理和计算机视觉算法提取图像中物体的特征点,如角点、边缘等。

3. 匹配特征点:将提取到的特征点与模板库中的特征点进行匹配,找到物体在图像中的位置。

4. 计算视差值:通过匹配到的特征点的位置差异,计算物体在图像中的视差值。

视差值是物体在图像上的像素位置差。

5. 视差转换:根据相机的内外参数,将视差值转换为物体在真实世界中的三维位置。

6. 抓取计划:根据物体的三维位置和机械臂的动作范围,确定机械臂的抓取位置和姿态。

7. 机械臂控制:将抓取位置和姿态信息传输给机械臂的控制系统,使机械臂完成抓取动作。

需要注意的是,基于基线的机械臂抓取方法对相机的准确标定、物体的特征提取和特征点匹配等步骤要求较高,以确保抓取的准确性和稳定性。

此外,该方法还可能受到光照、遮挡等因素的影响,需要进行相应的处理和优化。

机械臂控制和路径规划算法

机械臂控制和路径规划算法

机械臂控制和路径规划算法机械臂是一种能够模拟人类手臂运动的机械装置,广泛应用于工业自动化、医疗手术等领域。

机械臂控制和路径规划算法是机械臂运动的核心技术,它们决定了机械臂的运动精度和效率。

本文将介绍机械臂控制和路径规划算法的基本原理和常见算法。

一、机械臂控制机械臂控制技术是指通过给定的输入信号控制机械臂的运动。

机械臂控制通常可以分为两个层次:关节空间控制和任务空间控制。

1. 关节空间控制关节空间控制是指在关节空间内对机械臂的每个关节进行控制。

在这种控制模式下,控制器通过计算每个关节的轨迹和速度来实现机械臂的运动。

关节空间控制常用的方法有PID控制、逆运动学控制等。

PID控制是一种常见的闭环控制方法,它通过比较实际输出与期望输出之间的差异来调整控制信号,使得系统能够快速、稳定地达到期望状态。

在机械臂的关节空间控制中,可以通过设置合适的PID参数来实现关节角度的精确控制。

逆运动学控制是一种基于机械臂几何模型和力学性质的控制方法。

通过逆向求解机械臂各关节的角度,可以使机械臂末端执行器(如夹爪)达到指定的位置和姿态。

逆运动学控制适用于需求较高的精确运动任务,如装配、焊接等。

2. 任务空间控制任务空间控制是指在笛卡尔空间内对机械臂末端执行器(如夹爪)进行控制。

在这种控制模式下,控制器通过计算末端执行器的位置和姿态来实现机械臂的运动。

任务空间控制常用的方法有运动学控制、动力学控制等。

运动学控制是通过建立机械臂的正运动学和逆运动学方程来计算末端执行器的位置和姿态。

在机械臂运动过程中,通过调整关节角度实现末端执行器的精确控制。

运动学控制适用于机械臂做精确路径规划和轨迹控制的应用场景。

动力学控制是在运动学控制的基础上考虑机械臂的动力学特性,通过求解机械臂的运动学和动力学方程来实现对末端执行器的控制。

动力学控制适用于对机械臂的力和力矩有较高要求的任务,如抓取和搬运重物等。

二、路径规划算法路径规划算法是指确定机械臂从起始位置移动到目标位置的轨迹或路径。

《基于深度学习的机械臂位姿估计系统的设计与实现》

《基于深度学习的机械臂位姿估计系统的设计与实现》

《基于深度学习的机械臂位姿估计系统的设计与实现》一、引言随着人工智能和机器人技术的快速发展,机械臂作为智能机器人领域的重要分支,其位姿估计技术成为了研究的热点。

本文旨在设计并实现一个基于深度学习的机械臂位姿估计系统,以提高机械臂的定位精度和操作灵活性,为工业自动化、医疗、航空航天等领域提供更高效、更智能的解决方案。

二、系统设计1. 需求分析在系统设计阶段,我们首先对机械臂位姿估计系统的需求进行分析。

该系统需要具备高精度、高效率的位姿估计能力,以适应各种复杂环境下的机械臂操作。

同时,系统还应具备良好的鲁棒性和可扩展性,以适应不同型号和规格的机械臂。

2. 技术路线选择在技术路线的选择上,我们采用深度学习技术来实现机械臂的位姿估计。

深度学习在图像识别、目标检测等领域具有优异的表现,能够有效地提取图像特征,实现高精度的位姿估计。

3. 系统架构设计系统架构包括硬件和软件两部分。

硬件部分主要包括机械臂、相机、计算机等设备。

软件部分包括图像处理模块、深度学习模型模块、位姿估计模块等。

其中,图像处理模块负责获取相机拍摄的图像,深度学习模型模块负责提取图像特征并进行位姿估计,位姿估计模块将估计结果输出给机械臂控制系统。

三、深度学习模型设计与实现1. 数据集准备为了训练深度学习模型,我们需要准备大量的机械臂操作数据集。

数据集应包含不同环境、不同角度、不同光照条件下的机械臂图像及其对应的位姿信息。

2. 模型选择与优化我们选择卷积神经网络(CNN)作为位姿估计的模型。

通过调整网络结构、优化算法等手段,提高模型的精度和效率。

同时,采用迁移学习等技术,利用预训练模型加快训练速度并提高泛化能力。

3. 模型训练与评估使用准备好的数据集对模型进行训练,并通过交叉验证等方法评估模型的性能。

根据评估结果,对模型进行调优,以提高位姿估计的准确性和鲁棒性。

四、系统实现与测试1. 系统开发环境搭建搭建系统所需的开发环境,包括计算机硬件配置、操作系统、编程语言及开发工具等。

基于机器视觉的机械臂智能抓取系统设计

基于机器视觉的机械臂智能抓取系统设计

基于机器视觉的机械臂智能抓取系统设计姚启才 汪 地 廖茂生(上海大学上海市机器人与智能制造重点实验室,上海200444)摘 要:智能抓取搬运机器人能够高效、可靠地完成各种搬运任务,降低工作人员的劳动强度,精准的目标物体定位是机器人执行抓取搬运任务的基础。

本文研究了基于机器视觉的机器人智能抓取系统,可以实现物体的类别检测、物体定位及机器人抓取搬运任务。

智能抓取系统由三个子系统组成(目标识别系统、目标定位系统及机器人抓取系统)。

首先利用深度相机采集图像信息,并通过基于轮廓特征的匹配算法对目标物体进行匹配获得目标物体的中心坐标,接着通过机器人手眼标定法将像素坐标和深度信息转换到机器人基坐标系下,完成对目标物体的定位,最后通过机器人逆运动学求解各关节角姿态,驱动机器人运动完成抓取搬运任务。

实验系统以对场景中多个目标物体识别抓取作业为例,实现以目标物体为导向的机器人自适应抓取。

实验结果表明,该基于机器视觉的机械臂智能抓取系统具有较高的定位精度,能够有效地完成抓取搬运任务。

关键词:机器视觉;机械臂;轮廓特征匹配算法中图分类号:TB9 文献标识码:A 国家标准学科分类代码:410 55DOI:10.15988/j.cnki.1004-6941.2020.10.009IntelligentGraspingSystemDesignofRobotArmBasedonMachineVisionYAOQicai WANGDi LIAOoMaoshengAbstract:Intelligentgraspandhandlingrobotcancompletevarioushandlingtasksefficientlyandreliably,andre ducethelaborintensityofstaff Precisetargetobjectpositioningisthebasisofrobottoperformgraspandhandlingtasks Thispaperstudiestherobotintelligentgraspsystembasedonmachinevision,whichcanrealizeobjectcate gorydetection,objectpositioningandrobotgraspingandcarryingtasks Intelligentcapturesystemconsistsofthreesubsystems(targetrecognitionsystem,targetpositioningsystemandrobotgraspingsystem) First,usethedepthcameratocollectimageinformation,andusethematchingalgorithmbasedoncontourfeaturematchingoftargetob jectforthecenterofthetargetobjectcoordinate,andthenusetherobothand-eyecalibrationmethodtransferpix elcoordinatesanddepthinformationtorobotbasecoordinates,tocompletethetargetpositioningoftheobject,atlast,usetheinversekinematicsolutionofeachjointangle,grabhandletaskdrivenrobotmovement Theexperi mentalsystemtakestherecognitionandgraspingofmultipleobjectsinthesceneasanexampletorealizetheadap tivegraspingoftherobotguidedbytheobject TheexperimentalresultsshowthattherobotarmintelligentgraspingsystembasedonmachinevisionhashighpositioningaccuracyandcancompletethetaskofgraspingandhandlingeffectivelyKeywords:machinevision;manipulator;contourfeaturematchingalgorithm0 引言在目前工业生产的过程中,绝大多数的工业机器人均是依靠精确的示教进行抓取和放置工件,但这种方式存在着较大的局限性,因为这种结构化的环境要求工件必须以特定的方位处于固定的位置上,如果外界环境或工件的状态发生变化导致这一要求不能满足时,机器人往往不能适应这种变化,导致任务中断或失败。

基于点云模板匹配技术的机械臂定位抓取系统及方法与设计方案

基于点云模板匹配技术的机械臂定位抓取系统及方法与设计方案

基于点云模板匹配技术的机械臂定位抓取系统及方法与设计方案本技术公开一种基于点云模板匹配技术的机械臂定位抓取系统,包括依次连接的数据采集模块、数据处理和传输模块、机械臂控制模块。

本技术还公开了一种基于点云模板匹配技术的机械臂定位抓取方法。

本技术基于三维点云配准方法在场景中寻找目标物体,克服了利用普通彩色相机采集的场景二维图像信息难以检测存在相互遮挡的多个目标物体、缺乏纹理细节的目标物体等问题,准确性高,适用于货物分拣码垛场景,具有良好的应用前景。

技术要求1.一种基于点云模板匹配技术的机械臂定位抓取系统,其特征在于,包括依次连接的数据采集模块、数据处理和传输模块、机械臂控制模块;所述数据采集模块用于获取待抓取目标物体的场景点云数据;所述数据处理和传输模块用于通过场景点云数据获取目标物体的位姿信息并将位姿信息传输至机械臂控制模块;所述机械臂控制模块用于根据位姿信息执行对目标物体的抓取。

2.根据权利要求1所示的一种基于点云模板匹配技术的机械臂定位抓取系统,其特征在于,所述数据采集模块包括深度相机和电脑;所述深度相机用于获取待抓取目标物体的场景点云数据并将所述场景点云数据保存至电脑中。

3.一种基于点云模板匹配技术的机械臂定位抓取方法,其特征在于,所述方法包括以下步骤:采集待抓取目标物体的场景点云数据;根据所述场景点云数据获取目标物体的目标点云数据;根据所述目标点云数据计算目标物体在深度相机下的位姿信息;根据所述深度相机下的位姿信息和机械臂示教计算目标物体在机械臂基坐标系下的位姿信息;根据所述机械臂基坐标系下的位姿信息规划抓取目标物体的轨迹和相应姿态并实施抓取。

4.根据权利要求3所述的一种基于点云模板匹配技术的机械臂定位抓取方法,其特征在于,所述目标点云数据的获取方法包括:对所述场景点云数据进行滤波处理获取无噪点和背景的点云;根据所述无噪点和背景的点云所在的三维空间创建多个三维体素栅格,以所述体素栅格中所有点云的重心点作为采样点云;对所述采样点云进行分割获取目标点云数据。

基于点云匹配技术的机械臂定位抓取系统及方法与设计方案

基于点云匹配技术的机械臂定位抓取系统及方法与设计方案

基于点云匹配技术的机械臂定位抓取系统及方法与设计方案一、引言随着工业机器人技术的快速发展,机器人在工业领域中的应用越来越广泛。

机器人的定位和抓取能力是其在实际生产中应用的关键。

为了实现机器人的自主定位和抓取功能,点云匹配技术被广泛应用于机械臂定位抓取系统中。

本文将介绍基于点云匹配技术的机械臂定位抓取系统的设计方案。

二、技术原理点云匹配技术是指通过采集目标物体的点云数据,并与预设模型的点云数据进行匹配,从而实现目标物体的定位和抓取。

该技术的核心是建立点云之间的对应关系,通过计算点云之间的距离和方向等属性,来确定目标物体在三维空间中的位置和姿态。

三、系统结构1.点云采集模块:该模块使用激光扫描仪等设备,对目标物体进行三维点云数据的采集。

2.点云处理模块:该模块对采集到的三维点云数据进行处理,包括滤波、配准等预处理操作,以提高匹配的准确性。

3.模型建立模块:该模块将预设模型的点云数据进行建模,并与采集到的点云数据进行匹配。

4.位姿估计模块:该模块通过计算点云的距离和方向等属性,估计目标物体在三维空间中的位置和姿态。

5.控制算法模块:该模块根据位姿估计的结果,控制机械臂的运动,实现目标物体的抓取动作。

四、系统流程1.点云数据采集:使用激光扫描仪等设备对待抓取物体进行点云数据的采集。

2.点云预处理:对采集到的点云数据进行滤波、配准等预处理操作,以去除噪声和提高匹配准确性。

3.模型建立:将预设模型的点云数据进行建模,以便与采集到的点云数据进行匹配。

4.点云匹配:对采集到的点云数据和预设模型的点云数据进行匹配,计算点云之间的距离和方向等属性,从而确定目标物体的位姿。

5.位姿估计:根据点云匹配的结果,对目标物体在三维空间中的位置和姿态进行估计。

6.控制运动:根据位姿估计的结果,控制机械臂的运动,实现目标物体的抓取动作。

五、设计方案1.点云采集设备的选择:根据实际需求选择合适的激光扫描仪等设备,以获取高质量的点云数据。

基于仿生学的机械手臂抓取算法优化与应用

基于仿生学的机械手臂抓取算法优化与应用

基于仿生学的机械手臂抓取算法优化与应用近年来,随着机器人技术的快速发展,机械手臂在工业自动化、医疗护理、服务行业等领域中得到了广泛应用。

而机械手臂的抓取算法对于机械手臂的性能和灵活性至关重要。

本文将基于仿生学的方法,对机械手臂的抓取算法进行优化,并探讨其应用前景。

一、引言机械手臂的抓取算法是指机械手臂通过计算和感知环境,准确抓取目标物体的方法。

传统的抓取算法往往是基于规则的,需要人工定义抓取姿态和力度等参数。

然而,这种方法在面对复杂、多样的目标物体时效果不佳。

而仿生学正是受生物学和自然界启发的一门科学,通过借鉴自然界中生物的结构和行为,提出了许多优秀的解决方案。

因此,基于仿生学的方法被用来优化机械手臂的抓取算法具有广阔的应用前景。

二、仿生学在机械手臂抓取算法中的应用仿生学是模仿自然界中生物的形态、结构、功能以及生物对环境的适应能力的科学。

在机械手臂抓取算法中,可以借鉴生物的抓取原理和策略,提供更好的抓取方案。

1. 爬行类动物的爪式抓取爬行类动物如蜥蜴和蛇,通过其独特的爪式抓取方式可以适应各种地形和目标物体的形状。

仿生学中的爪式抓取原理可以应用于机械手臂的抓取算法中,提高其对不规则形状物体的抓取能力。

2. 鸟类的双足抓取鸟类的双足抓取是一种高效、灵活的抓取方式,在机械手臂抓取算法中也可以借鉴其特点。

通过仿生学的方法,机械手臂可以模拟鸟类的双足抓取,提高对脆弱物体的抓取精度和稳定性。

3. 昆虫的吸盘抓取昆虫的吸盘抓取原理在机械手臂的抓取算法中也有着重要的应用。

通过仿生学的方法,机械手臂可以模拟昆虫的吸盘结构,提高对光滑、曲面物体的抓取能力。

三、基于仿生学的机械手臂抓取算法优化基于仿生学的机械手臂抓取算法优化是指通过仿生学的方法,改进机械手臂的抓取算法,提高其抓取精度和灵活性。

1. 传感器技术的应用基于仿生学的机械手臂抓取算法优化需要借助于先进的传感器技术。

通过感知环境中目标物体的特征和形状信息,机械手臂可以更准确地选择抓取姿态和力度,优化抓取算法的效果。

  1. 1、下载文档前请自行甄别文档内容的完整性,平台不提供额外的编辑、内容补充、找答案等附加服务。
  2. 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
  3. 3、如文档侵犯您的权益,请联系客服反馈,我们会尽快为您处理(人工客服工作时间:9:00-18:30)。

本技术公开一种基于点云模板匹配技术的机械臂定位抓取系统,包括依次连接的数据采集模块、数据处理和传输模块、机械臂控制模块。

本技术还公开了一种基于点云模板匹配技术的机械臂定位抓取方法。

本技术基于三维点云配准方法在场景中寻找目标物体,克服了利用普通彩色相机采集的场景二维图像信息难以检测存在相互遮挡的多个目标物体、缺乏纹理细节的目标物体等问题,准确性高,适用于货物分拣码垛场景,具有良好的应用前景。

技术要求1.一种基于点云模板匹配技术的机械臂定位抓取系统,其特征在于,包括依次连接的数据采集模块、数据处理和传输模块、机械臂控制模块;所述数据采集模块用于获取待抓取目标物体的场景点云数据;所述数据处理和传输模块用于通过场景点云数据获取目标物体的位姿信息并将位姿信息传输至机械臂控制模块;所述机械臂控制模块用于根据位姿信息执行对目标物体的抓取。

2.根据权利要求1所示的一种基于点云模板匹配技术的机械臂定位抓取系统,其特征在于,所述数据采集模块包括深度相机和电脑;所述深度相机用于获取待抓取目标物体的场景点云数据并将所述场景点云数据保存至电脑中。

3.一种基于点云模板匹配技术的机械臂定位抓取方法,其特征在于,所述方法包括以下步骤:采集待抓取目标物体的场景点云数据;根据所述场景点云数据获取目标物体的目标点云数据;根据所述目标点云数据计算目标物体在深度相机下的位姿信息;根据所述深度相机下的位姿信息和机械臂示教计算目标物体在机械臂基坐标系下的位姿信息;根据所述机械臂基坐标系下的位姿信息规划抓取目标物体的轨迹和相应姿态并实施抓取。

4.根据权利要求3所述的一种基于点云模板匹配技术的机械臂定位抓取方法,其特征在于,所述目标点云数据的获取方法包括:对所述场景点云数据进行滤波处理获取无噪点和背景的点云;根据所述无噪点和背景的点云所在的三维空间创建多个三维体素栅格,以所述体素栅格中所有点云的重心点作为采样点云;对所述采样点云进行分割获取目标点云数据。

5.根据权利要求3所述的一种基于点云模板匹配技术的机械臂定位抓取方法,其特征在于,所述深度相机下的位姿信息计算方法包括:提取所述目标点云数据的关键点;将所述目标点云数据和模板点云数据的关键点进行初始配准、精配准获取齐次变换矩阵。

6.根据权利要求5所述的一种基于点云模板匹配技术的机械臂定位抓取方法,其特征在于,所述初始配准的方法包括:从目标点云数据的关键点中选取样本点;根据特征直方图获取所述样本点在模板点云数据的关键点中的初始对应点;根据所述样本点和初始对应点获取初始齐次变换矩阵。

7.根据权利要求6所述的一种基于点云模板匹配技术的机械臂定位抓取方法,其特征在于,所述精配准的方法包括:a、根据所述初始齐次变换矩阵获取所述样本点在模板点云数据的关键点中的精准对应点;b、计算所述样本点和精准对应点的均方根,获取样本点和精准对应点之间均方根最小的变换;c、重复所述步骤(a)、步骤(b),迭代计算直到达到设定的迭代次数或误差小于阈值即停止得到齐次变换矩阵。

8.根据权利要求7所述的一种基于点云模板匹配技术的机械臂定位抓取方法,其特征在于,所述机械臂基坐标系下的位姿信息计算方法包括:根据机械臂示教的旋转矩阵、平移向量和所述齐次变换矩阵得到三者的组合齐次变换矩阵即机械臂基坐标系下的位姿信息。

9.根据权利要求3所述的一种基于点云模板匹配技术的机械臂定位抓取方法,其特征在于,所述场景点云数据的采集方法包括:通过深度相机采集场景的深度图像,通过通用数据采集接口OpenNI将深度图像数据转换为场景点云数据。

技术说明书基于点云模板匹配技术的机械臂定位抓取系统及方法技术领域本技术涉及点云处理算法领域,具体涉及一种基于点云模板匹配技术的机械臂定位抓取方法。

背景技术机械臂可以替代人类进行高强度、简单重复的工作,例如流水线货物的分拣、码垛等;此外,还可以完成具有危险性、伤害性的工作,例如高空作业、扫雷、喷漆等。

机械臂的应用不仅能降低人力成本、保证生产安全,还能大幅提高生产效率,有广泛的应用前景。

传统的机械臂应用,通常根据人为设定的指令行走固定的轨迹、执行固定的抓取姿态,机械臂无法自主的与环境发生交互,一旦环境发生变化,就需要人为重新设定指令,这降低了生产活动的效率。

技术内容针对现有技术的不足,本技术的目的在于提供一种低成本高精度的机械臂定位抓取方法,以解决现有技术中存在的机械臂无法自主的与环境发生交互的问题。

为了实现上述目标,本技术采用如下的技术方案:一种基于点云模板匹配技术的机械臂定位抓取系统,包括依次连接的数据采集模块、数据处理和传输模块、机械臂控制模块;所述数据采集模块用于获取待抓取目标物体的场景点云数据;所述数据处理和传输模块用于通过场景点云数据获取目标物体的位姿信息并将位姿信息传输至机械臂控制模块;所述机械臂控制模块用于根据位姿信息执行对目标物体的抓取。

进一步的,所述数据采集模块包括深度相机和电脑;所述深度相机用于获取待抓取目标物体的场景点云数据并将所述场景点云数据保存至电脑中。

一种基于点云模板匹配技术的机械臂定位抓取方法,所述方法包括以下步骤:采集待抓取目标物体的场景点云数据;根据所述场景点云数据获取目标物体的目标点云数据;根据所述目标点云数据计算目标物体在深度相机下的位姿信息;根据所述深度相机下的位姿信息和机械臂示教计算目标物体在机械臂基坐标系下的位姿信息;根据所述机械臂基坐标系下的位姿信息规划抓取目标物体的轨迹和相应姿态并实施抓取。

进一步的,所述目标点云数据的获取方法包括:对所述场景点云数据进行滤波处理获取无噪点和背景的点云;根据所述无噪点和背景的点云所在的三维空间创建多个三维体素栅格,以所述体素栅格中所有点云的重心点作为采样点云;对所述采样点云进行分割获取目标点云数据。

进一步的,所述深度相机下的位姿信息计算方法包括:提取所述目标点云数据的关键点;将所述目标点云数据和模板点云数据的关键点进行初始配准、精配准获取齐次变换矩阵。

进一步的,所述初始配准的方法包括:从目标点云数据的关键点中选取样本点;根据特征直方图获取所述样本点在模板点云数据的关键点中的初始对应点;根据所述样本点和初始对应点获取初始齐次变换矩阵。

进一步的,所述精配准的方法包括:a、根据所述初始齐次变换矩阵获取所述样本点在模板点云数据的关键点中的精准对应点;b、计算所述样本点和精准对应点的均方根,获取样本点和精准对应点之间均方根最小的变换;c、重复所述步骤(a)、步骤(b),迭代计算直到达到设定的迭代次数或误差小于阈值即停止得到齐次变换矩阵。

进一步的,所述机械臂基坐标系下的位姿信息计算方法包括:根据机械臂示教的旋转矩阵、平移向量和所述齐次变换矩阵得到三者的组合齐次变换矩阵即机械臂基坐标系下的位姿信息。

进一步的,所述场景点云数据的采集方法包括:通过深度相机采集场景的深度图像,通过通用数据采集接口OpenNI将深度图像数据转换为场景点云数据。

与现有技术相比,本技术的有益效果是:本技术将深度相机与机械臂相结合,利用PrimeSense深度相机采集待抓取目标所在场景的点云数据,创建目标物体的三维点云模板,结合点云两两配准算法计算得到目标物体在深度相机坐标系下的位置、姿态信息,通过机械臂示教得到机械臂夹爪和模板物体之间的齐次变换矩阵,综上得到目标物体在机械臂坐标系下的坐标,从而规划出机械臂末端夹爪抓取目标的运动轨迹和姿态,实现了机械臂可以自主的与环境发生交互的功能;相对于传统的用昂贵的激光设备采集点云的方式,成本得到了大幅的降低,能促进低成本视觉方案在机械臂领域的应用。

附图说明图1为机械臂的结构示意图;图2为系统模块关系示意图;图3为目标物体定位算法流程图。

具体实施方式下面将结合本技术中的附图,对本技术的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本技术一部分实施例,而不是全部的实施例。

基于本技术中的实施例,本领域普通技术人员在没有做出创造性劳动条件下所获得的所有其它实施例,都属于本技术保护的范围。

如图1、图2所示,一种基于点云模板匹配技术的机械臂定位抓取系统,包括依次连接的数据采集模块、数据处理和传输模块、机械臂控制模块。

所述数据采集模块用于获取待抓取目标物体的场景点云数据;所述数据处理和传输模块用于通过场景点云数据获取目标物体的位姿信息并将位姿信息传输至机械臂控制模块;所述机械臂控制模块用于根据位姿信息执行对目标物体的抓取。

所述数据采集模块包括深度相机和电脑;所述深度相机用于获取待抓取目标物体所在场景的三维场景点云数据,并将获取的场景点云数据保存在电脑本地内存。

所述数据处理和传输模块,用于从场景点云数据中识别、定位出待抓取的目标物体,计算出目标物体在深度相机坐标系下的位置和姿态信息,分别对应于一个旋转矩阵和平移向量;然后,通过机械臂和深度相机联合示教,将深度相机下的位姿信息转换至机械臂基坐标系得到目标物体在机械臂基坐标系下的位姿信息;最后,将机械臂基坐标系下的位姿信息通过Socket网络通信传送至机械臂控制柜。

所述机械臂控制模块,用于接收目标物体的位姿信息,依据位姿信息规划机械臂末端夹爪的运动轨迹和相应姿态,执行对目标物体的抓取。

如图3所示,一种基于点云模板匹配技术的物体定位方法,所述定位抓取方法包括以下步骤:步骤一、电脑端控制深度相机采集待抓取目标物体所在场景的场景点云数据;步骤二、根据所述场景点云数据获取目标物体的目标点云数据;步骤三、根据所述目标点云数据计算出目标物体在深度相机下的位姿信息;步骤四、根据所述深度相机下的位姿信息结合机械臂示教的结果计算出目标物体在机械臂基坐标系下的位姿信息。

步骤五、利用Socket网络通信将机械臂基坐标系下的位姿信息通过网线传送至机械臂。

步骤六、机械臂根据接收到的机械臂基坐标系下的位姿信息,规划抓取目标物体的轨迹和相应姿态并实施抓取。

所述目标点云数据的获取方法包括:2.1、场景点云数据滤波;通过统计滤波去除场景点云数据中的噪点,通过直通滤波去除场景点云数据场景的背景获取得到无噪点和背景的点云。

统计滤波步骤通过对每个点的邻域进行统计分析,计算它和它邻近点的平均距离,得到的结果服从正态分布,所以能得到临近点距离的均值。

将距离大于均值的点定义为离群点,将其从场景点云数据中移除;直通滤波步骤通过指定一个需要滤波的方向,设置一个阈值,然后按照此方向遍历点云,并判断每个点是否在阈值区间内,将不在阈值内的点删除。

2.1、获取采样点云;通过在无噪点和背景的点云所在的三维空间内创建多个三维体素栅格,体素栅格可视为微小的空间三维立方体,点云依据空间分布的不同落入相应的体素内,计算体素中所有点的重心,以重心点近似替代该体素中的所有点作为采样点云。

以此降低点云场景密度但同时依然保持点云形状特征。

相关文档
最新文档