基于Kinect传感器的机械手自主抓取技术研究

基于Kinect传感器的机械手自主抓取技术研究
钟泽宇;周海婷;古炜豪;邹修国
【摘要】For the realization of the manipulator to fetch the object, the Kinect sensors were used to get the RGB images. HSI and Lab color space segmentation algorithm were used to realize the recognition of objects, and then the space coordinates of the object were calculated. And then according to the coordinates of the object,manipulator operation angle was gotten reversly. Driving the manipulator ARM controller based on
S3C2410, the goal of fetching was achieved. Based on the mature tomato in greenhouse to grab objects, the experimental results show that the system can accurately and effectively realize the object recogni-tion, positioning and fetching.%为实现机械手对物体的自主抓取,采用Kinect传感器采集RGB图像,运用HSI和Lab色彩空间分割算法对物体进行图像识别,并计算物体的空间坐标,然后根据物体的坐标值反求机械手运行角度,驱动基于S3C2410的ARM控制器的机械手,实现对目标的抓取.以温室内的成熟番茄为抓取对象,实验结果表明该系统能准确有效地实现对物体的识别、定位及抓取.
【期刊名称】《仪表技术与传感器》
【年(卷),期】2016(000)007
【总页数】4页(P123-126)
【关键词】Kinect传感器;图像分割;机械手;自主抓取
【作者】钟泽宇;周海婷;古炜豪;邹修国
【作者单位】南京农业大学工学院,江苏南京 210031;华东理工大学机械与动力工
程学院,上海 200237;南京农业大学工学院,江苏南京 210031;南京农业大学工学院,江苏南京 210031
【正文语种】中文
【中图分类】TP391
农业收获机器人主要在自然场景下工作，环境较复杂。

将农作物与背景分离，实现定位并向机械手提供准确的定位信息是发展农业收获机器人的关键。

蒋焕煜等[1]
对成熟番茄RGB 颜色特征使用自适应阈值法进行分割，并将形心匹配和区域匹配相结合来计算目标番茄的位置信息，在自然光下误差较小，但仅限于可见光范围内。

郑小东等[2]通过计算机视觉识别番茄图像，采用形心匹配取代常规的特征点选择
和匹配方法，对双目立体成像测距公式进行了修正。

赵杰文等[3]研究基于HSI颜
色特征下成熟番茄的识别，将双目相机系统获取的番茄RGB图像转换成HSI图像，根据H分量的灰度分布进行分割，进而对成熟番茄识别与定位。

赵金英等[4]基于Lab色彩空间运用otsu法对成熟番茄进行识别，但研究仅限于二维平面内的模式识别。

Hannan等[5]提出了基于图像分割、区域标记、直径提取和边缘检测的立
体视觉算法，对障碍物遮挡下的柑橘进行了识别与定位。

Maja Musse等[6]通过
双目视觉技术实现机器人收获樱桃番茄，提出检测樱桃番茄位置的立体视觉算法，检测正确率达70%。

Kinect视觉传感器能够同时采集二维RGB及深度图像信息[7-8]。

目前，国内外
在这方面的研究都取得了一些进展，如障碍物的检测[9]、手关节跟踪[10]、手势
识别[11]、人体复健[12]等。

传统的果实定位采用双目视觉技术，但需要进行相机标定，计算复杂，且仅能在可见光范围内识别。

使用Kinect传感器无需进行参数
标定即可获得深度数据实现番茄三维定位，减少了光线的干扰，同时Kinect传感
器还具有廉价且购买方便的优势。

本文利用Kinect传感器能同时提供二维RGB及深度图像信息的特性，简化了目标检测的内容，实现了机械手系统自主完成番茄抓取的功能。

1.1 Kinect传感器介绍
Kinect传感器是体感周边外设，可以同时获取RGB和深度图像数据。

Kinect传感器主要由1个1 920×1 080分辨率RGB摄像头、深度传感器(包含1个红外线发射器和1个红外线CMOS摄像头)以及1组麦克风阵列组成，如图1所示。

Kinect红外发射器发出镭射光，经过红外发射器镜头前的光栅生成结构光，均匀地投射到测量空间，测量空间的粗糙物体反射，形成随机的散斑，再通过红外摄影机记录空间的每个散斑，通过晶片的计算便得到三维深度图像[13]，通过黑白光谱的方式来感知周围环境：纯黑代表无穷远，纯白代表无穷近，灰色区域对应从物体至传感器的物理距离[14]。

Kinect基于立体标靶的激光平面标定结构光[15]。

传感器以30帧/s的速度生成512×424分辨率的景深图像流，实时三维地再现周围环境。

1.2 获取RGB彩色流和目标深度流
运行在工控机上的处理程序在进行图像分割前，需要进行一系列的初始化工作，包括Kinect传感器初始化、RGB彩色流初始化、深度流初始化、串口初始化。

数据初始化流程图如图2所示。

2.1 番茄图像分割
针对成熟番茄及其成长环境的颜色特性，本文采用基于HSI和Lab色彩空间分别进行图像分割的方法，在HSI色彩空间采用最优阈值法进行阈值分割，在Lab色彩空间基于均值聚类图像分割[16]。

然后将两次分割结果进行图像融合，最后通过数学形态学滤波进行消噪得到最终图像分割结果。

2.1.1 HIS色彩空间的图像分割
首先将得到的RGB图像转换成HSI图像，其次进行高斯滤波以平滑图像，改善图像质量，然后对3个分量进行分通道处理，使用最大类间方差法在每个区域确定分割阈值，继而二值化。

最后对H、S、I 3个分量的分割后图像进行融合，从而得到基于最优阈值分割的结果，如图3所示。

2.1.2 Lab色彩空间的图像分割
首先将得到的RGB图像转换成Lab图像，然后进行平滑滤波。

由于a通道两端分别代表成熟番茄及背景颜色，因此仅需对a通道进行图像分割即可。

定义初始类别数，运用K-means算法对图像进行处理，得到基于均值聚类图像分割的结果，如图4所示。

2.1.3 分割结果的融合
将分割图像进行融合，并将融合图像运用数学形态学进行滤波，从而取得最佳分割效果。

最终分割结果如图5所示。

2.2 目标定位
假设目标番茄对应像素点构成集合S，则图像平面中目标番茄质心坐标(x,y)可由式(1)求得：
式中：n为集合S中元素的个数；(xk,yk)为集合S中的元素。

在得到目标番茄质心的二维坐标后，根据Kinect传感器获取的深度图像，可得到目标对应像素点的深度值，利用Kinect for Windows SDK 2.0中的坐标映射及Opencv的reprojectimageTo3D函数，即可计算出番茄质心的实际三维坐标。

机械手主要包括舵机和相应金属支架。

对抓取用的机械爪进行弯曲处理，使其更适用于抓取球形物体，如图6所示。

3.1 机械手模型分析
首先，对四自由度机械手建立简化模型[17]。

通过观察，S1和S2基本处于同一垂线上，以S2为坐标原点建立三维坐标系，如图7所示。

其中P是目标物体，粗线
是S2与S3间距离，S3经过S4与目标物P的连线。

根据几何关系分析得出，在XOY平面内，即俯视图，可计算出舵机S1由Y′OZ
平面旋转到YOZ平面的转角；在YOZ平面中，根据P点的坐标可计算出舵机S2和S3的转角，最终确定S1、S2、S3的旋转角度。

其中，S1与S2，S2与S3，
S3与机械爪中心位置的距离已知。

3.2 机械手控制系统
机械手控制系统硬件组成如图8所示。

可按照前述方法计算出S1、S2、S3舵机
的转动角度。

再将舵机转动角度转化为控制字，通过串口由基于S3C2410的ARM控制器发送相应控制指令，控制机械手相应的3个舵机转动相应角度，最终实现抓取番茄的目的。

本系统利用工控机进行处理，计算出舵机相应转动角度，然后将角度转换成控制字，编写串口通信程序，将控制字通过串口向S3C2410控制器发送。

控制板程序初始化后，用查询的方式从串口接收数据，当接收到数据后，计算舵机控制PWM脉宽，发送相应控制指令，从而控制舵机转动[18]。

舵机控制脉冲如图9所示。

试验环境：工控机CPU Core i5-3317U，内存4 GB，操作系统Windows 8。

在Visual studio 2013 环境下，利用Kinect for Windows SDK 2.0，在实验室搭建平台，基于Opencv3.0.0获得RGB信息和深度信息，对番茄模型进行空间定位。

4.1 定位精度验证
Kinect的坐标系与常规数学坐标系不同，以Kinect中心为坐标原点，水平方向为
X轴，垂直方向为Y轴，垂直于Kinect成像平面方向为Z轴[19]。

以番茄为定位
目标，在实验室对番茄模型进行8次定位实验，实验测试结果如表1所示，结果
证明平均识别精度达到98.2%。

4.2 机械手抓取番茄实验
为了证明本系统中机械手在番茄抓取时是实际有效的，进行了实验。

如图10所示，
该图展示了机械手成功抓取番茄时的情形，证明本系统对番茄的抓取是实际有效的。

本文利用Kinect传感器获取RGB和深度图像数据，融合HSI色彩空间和Lab色
彩空间分割结果，实现对番茄的识别，结合采集的深度信息，利用质心坐标计算出相应舵机的转动角度，将转动角度转化为控制字并通过串口由基于S3C2410的ARM控制器向相应舵机发送控制指令，从而控制机械手实现了自主抓取番茄的目的。

结果表明，该系统为机械手的自主抓取提供了一个简单可行的技术方案，可广泛应用于化工、环保、农业等产业中，具有推广价值。

【相关文献】
[1] 蒋焕煜, 彭永石, 申川，等. 基于双目立体视觉技术的成熟番茄识别与定位[J]. 农业工程学报, 2008, 24(8): 279-283.
[2] 郑小东, 赵杰文, 刘木华. 基于双目立体视觉的番茄识别与定位技术[J]. 计算机工程, 2004, 30(22): 155-156.
[3] 赵杰文, 刘木华, 杨国彬. 基于HIS颜色特征的田间成熟番茄识别技术[J]. 农业机械学报, 2004,
35(5): 122-124.
[4] 赵金英, 张铁中, 杨丽. 西红柿采摘机器人视觉系统的目标提取[J]. 农业机械学报,
2006,10(37):201-203.
[5] HANNAN M W, BURKS T F, BULANON D M. A real-time machine vision algorithm for robotic citrus harvesting[A]. St. Joseph, Mich.:ASAE, 2007, ASAE Paper No. 073125．
[6] MUSSE M, QUELLEC S, DEVAUX M F, et al. An investigation of the structural aspects of the tomato fruit by means of quantitative nuclear magnetic resonance imaging[J]. Magnetic Resonance Imaging, 2009, 27(5): 709-719.
[7] ZHANG Z Y. Microsoft Kinect sensor and its effect[J]. MultiMedia, IEEE , 2012, 19(2): 4-10.
[8] KHOSHELHAM K, ELBERINK S O. Accuracy and resolution of Kinect depth data for indoor mapping applications[J]. Sensors, 2012, 12(2): 1437-1454.
[9] CORREA D S O, SCIOTTI D F. Mobile robots navigation in indoor environments using Kinect sensor[J]. Critical Embedded Systems, 2012: 36-41.
[10] OIKONOMIDIS I, KYRIAZIS N, ARGYROS A A. Efficient Model-based 3D Tracking of Hand Articulations using Kinect[C]. BMVC, 2011：1-11.
[11] 罗元, 谢豆豆, 张毅. 基于Kinect传感器的智能轮椅手势控制系统的设计与实现[J]. 机器人,
2012, 34(1): 110-113.
[12] CHANG Y J, CHEN S F, HUANG J D. A Kinect-based system for physical rehabilitation:
A pilot study for young adults with motor disabilities[J]. Research in Developmental Disabilities, 2011, 32(6): 2566-2570.
[13] GARCIA J. Range mapping using speckle decorrelation：US 7433024 B2[P] .2008-10-07.
[14] SHPUNT A. Optical designs for zero order reduction：US 20090185274 A1[P].2009-07-23.
[15] 琚旋. 标定及其在增强现实中的应用深度与彩色相机的联合[D]. 杭州:浙江大学, 2014.
[16] 庞晓敏, 闵子建, 阚江明. 基于HSI和LAB颜色空间的彩色图像分割[J]. 广西大学学报: 自然科学版, 2011, 36(6): 976-980.
[17] 周辰. 对六自由度机械臂运动路径设计的探究[J].科技信息,2009(33):43-46.
[18] 林海波, 梅为林, 张毅，等. 基于Kinect骨骼信息的机械臂体感交互系统的设计与实现[J]. 计算机应用与软件, 2013, 30(2): 158-160.
[19] 董建民, 陈伟海, 岳昊嵩，等. 基于Kinect视觉系统的西红柿自动识别与定位[J]. 中国农机化学报, 2014, 35(4): 170-173.。