图像识别的机器手抓握滑移检测系统开发

图像识别的机器手抓握滑移检测系统开发
邢扬;史运泽;俞竹青
【摘要】为实现机器手抓握物体时不发生脱落,首先应检测其与被抓握物体接触面上的滑移信号.提出一种基于图像识别的机器手抓握滑移检测方法,采用中心区域匹配思想的归一化互相关算法(NCC)匹配由视觉传感器实时采集到的被抓握物体表面图像,得到被抓握物体在采集图像期间的滑移情况.实验结果表明:此系统可以准确检测被抓握物体是否发生滑移及滑移的方向和大小,具有高准确度、高灵敏度等优点.%To achieve the object to be grasped by robot without shedding,the first thing to do is detecting the slipping signal between the object and the robot.A method for slipping signal detection based on image recognition is presented,use normalized cross-correlation algorithm(NCC)to match surface image of object real-time collected by the visual sensor,slipping case during collecting images of grasped object robot can be obtained by comparing these two images.Experimental results indicates that this method can accurately detect the slip signal of the object which grasping by robot and the direction and size of slipping,the method possesses advantages of high accuracy,and high sensitivity etc.
【期刊名称】《传感器与微系统》
【年(卷),期】2017(036)004
【总页数】4页(P131-133,142)
【关键词】图像识别;机器手;滑移检测;归一化互相关
【作者】邢扬;史运泽;俞竹青
【作者单位】常州大学机械工程学院,江苏常州213100;常州大学机械工程学院,江苏常州213100;常州大学机械工程学院,江苏常州213100
【正文语种】中文
【中图分类】TP242.6
机器手在抓取物品时，要实现被抓握的物体不发生脱落，首先应该检测机器手和被抓握物体接触面上的滑觉信号，再将信号反馈给机器人以改变夹持控制力，通过控制夹持力来防止目标物体的脱落，最终协助机器人完成抓取和操作任务。

因此，滑移信号的检测是机器人完成高精度抓取与操作任务的关键所在[1,2]。

目前,常见的检测机器手与抓握对象间滑移现象的方法有[3]：磁力式滑觉传感器、触针式压电晶体滑觉传感器、滚筒式滑觉传感器、振动式滑觉传感器、基于电声原理触滑觉传感器、基于新型压阻触滑觉传感器、基于压电材料聚偏二氟乙烯(polyvinylidene fluo-ride,PVDF)薄膜滑觉传感器等，但以上的滑觉检测方法分别存在结构复杂，灵敏度低，成本高等缺点。

本文尝试提出了一种基于图像识别的机器手抓握滑移检测方法。

基于图像识别机器手抓握系统装置如图1所示。

固定于机器人手指腔内的高清摄像机和镜头实时采集被抓握物体表面的图像，并将采集到的信号传至控制计算机。

控制计算机通过对连续采集的被抓握物体表面图像做实时图像匹配分析，判断是否发生滑移及滑移的方向和大小。

如图2所示，图(a)、(b)为视觉传感器连续采集被抓握物体表面的两帧图像。

将(a)图中的特征区域S作为模板，定义其左上角为点P1。

在(b)图中通过图像匹配算法可找到特征区域S，并定义特征区域S的左上角为点P2。

对比特征区域S在两帧图像中P1，P2点的位置坐标，若x1≠x2或
y1≠y2，则被抓握物体在采集这两帧图像的过程中发生了滑移。

图像匹配就是从包含同一景物拍摄的两幅图像在空间上进行对准，以确定出这两幅图像间相对位置的过程[4]。

基于灰度信息的归一化互相关(normalized cross-correlation,NCC)算法是图像匹配领域中被认为是最佳的相似性评判依据,具有算
法简单，匹配精度高，不受外部光照影响，对噪声具有一定的鲁棒性等优点，且当图像相对缩放、旋转和畸变差异不大时，也能够得到满意的匹配[5]。

如图3所示，NCC算法的主要思想为[6]：设待匹配图像S的大小为M×N，模板图像T的大小为m×n。

Su,v表示模板T在待匹配图像S上平移时，搜素窗口所覆盖的子图区域。

其中，(u,v)表示子图区域左上角顶点在S中的位置坐标。

计算并记录子图Su,v与模板图T的NCC相关值，其中，最大值对应的子图位置即为最佳匹配点的位置。

NCC匹配算法的公式定义为[7]
R(u,v)=
Su,v=S(u+i,v+j)
T=T(i,j)
式中 S(i,j)，T(i,j)为搜索图像S及模板T在(i,j)处的灰度值，与分别为搜索子图Su,v与模板T的灰度平均值。

当模板图像与子图Su,v完全相同时，其相关系数
R(u,v)=1。

待S中所有像素点均已被搜索后，R(u,v)的最大值Rmax(u,v)对应S中的子图Su,v即为最终的匹配目标。

由于相邻的两帧图像存在相同特征区域，通过对比这些相同特征区域的位置信息可以判断出机器手所抓握物体表面是否发生滑移和滑移的方向与大小。

在检测中，将抓取过程中采集的某一帧图像作为第一帧图像，连续采集到的下一帧图像作为第二帧图像。

由于采集时间间隔较小，连续采集到的两帧图像相同特征区域不会有大幅度的位置变化，且图像的主要特征体现在靠近中心的区域部分，因此为减少计算量，可采取中心区域匹配的思想来提高匹配准确度及降低NCC算法的时间。

计算步骤
如下：
1)在实时抓取的第一帧图像中，以中心50像素×50像素区域作为图像匹配的模板T，其左上角设为点P0，计算模板T的均值。

2)在连续采集到的第二帧图像中，以中心100像素×100像素区域作为待匹配区域S，以S的左上角为起始点，计算模板T在S的覆盖子图均值，利用式(1)计算NCC系数。

3)在待匹配图S中自上而下，自左而右，以步长为1个像素点，重复步骤(2)，遍历搜索计算并记录模板T与其在待匹配图中覆盖子图的NCC系数。

4)利用Matlab得到NCC系数对应的三维图，最大的NCC系数对应子图为匹配图像，其左上角为起始点记为点P。

5)根据模板起始点P0和匹配图像起始点P的坐标，计算被抓握物体的滑移情况，包括滑移的方向和大小。

实验对橡胶材质和纸质材质两种物体进行了抓握滑移检测实验分析。

4.1 橡胶材质物体的滑移检测实验分析
图4前帧图像a和本帧图像b为视觉传感器连续采集到的被抓握橡胶物体表面的两帧图像，大小为150像素×150像素。

采用上述算法，以前帧图像a的中心50像素×50像素作为模板，则其左上角点坐标为P0(50,50)，本帧图像b的中心100像素×100像素作为待匹配图像。

模板与待匹配图覆盖子图的NCC系数三维图如图5所示，图中X,Y轴为模板在待匹配图上覆盖子图的左上角点的坐标，Z轴表示相应坐标对应的NCC系数值，NCC系数的值域为[-1,1]，相似性最大时值为1，不相关时值为0，当两幅图像视觉上看内容一样，亮度相反，相似性为-1。

NCC系数的值越接近1，模板与其在待匹配图覆盖的子图的相似度越高，最大NCC系数对应的子图即为最佳匹配图像。

由图5可以看出，最大NCC系数对应子图的左上角像素点位置坐标为P(32,67)。

对比两起始点坐标可知，该物体发生了滑移，滑移量为 x=-18， y=17。

由实验计算结果可知：被抓握的橡胶物体在此期间发生了滑移，水平方向向左滑移了18个像素点，垂直方向向下滑移了17个像素点。

为验证本实验的准确性，利用专业图像软件可得上述两帧实时图像相同特征点对应的位置坐标，如图6所示。

由图可知，相同特征点(鼠标笔尖点)在前帧图像a和本帧图像b的位置坐标分别为(76,95),(58,112)。

对比两点坐标，可得被抓握物体在
此期间发生了滑移，滑移量为Δx＇=-18，Δy＇=17，与上述实验结果一致，证明了本方法的准确性。

4.2 纸质材质物体的滑移检测实验分析
图7前帧图像a和本帧图像b为连续采集到的被抓握纸质物体表面的两帧图像，
大小均为150像素×150像素。

采用上述算法，则模板左上角点坐标为Q0(50,50)，模板与待匹配图覆盖子图的NCC系数三维图如图8所示。

由图8可知，最大NCC系数对应子图的左上角像素点位置坐标为Q(39,61)。

对比两点坐标可得该物体在采集这两帧图像期间发生了滑移，滑移量为Δx=-11,Δy=11，即水平方向向
左滑移了11个像素点，垂直方向向下滑移了11个像素点。

同样，为验证实验的准确性，利用专业图像软件可得上述两帧图像相同特征点对应的位置坐标如图9所示。

由图可知,相同特征点在两帧图像的位置坐标分别为(55,74),(44,85)。

计算可得Δx＇=-11，Δy＇=11，即被抓握的纸质物体在采集这两帧图像期间，水平方向向左滑移了11个像素点，垂直方向向下滑移了11个像
素点，与上述实验结果一致，充分证明了本方法的正确性。

提出了一种基于图像识别机器手抓握滑移检测的系统，采用图像匹配领域中被认为最佳相似性评判依据的归一化互相关算法，利用中心区域匹配的思想匹配连续采集到的被抓握物体表面图像，判断被抓握物体是否产生滑移及滑移量的大小。

实验研究分析了机器手抓握橡胶物体和纸质物体时发生的滑移情况，并利用专业图像处理
软件对比两帧图像相同特征点的位置坐标得到物体实际滑移量，验证了算法的正确性。

实验结果表明：此系统可以准确检测被抓握物体是否发生滑移及滑移的方向和大小，具有高准确度、高灵敏度等优点。

邢扬(1991-)，女，硕士研究生，研究方向为主从随动机器人的研究与开发。

俞竹青(1962-)，男，通讯作者，工学博士，教授，从事机电一体化与机器人技术的研究工作，E—mail:*****************.cn。

【相关文献】
[1] 朱树平．基于滑觉检测的农业机器人果蔬抓取研究[D]．南京:南京农业大学，2012．[2] Cranny A，Cotton D P J，Chappell P H．Thick-film force and slip sensors for prosthetic hand[J]．Sensors and Actuators A，2005(123-124)：162-171．
[3] 向婷，陈进军．基于新型压阻触滑觉传感器软抓取机械手的研究[J]．制造业自动化，2013，
35(3)：69-71．
[4] 李子印，许斌，陈立峰．基于自适应步长选择的NCC图像匹配算法[J]．光电工程，2013，
40(10)：77-84．
[5] Tsai Duming，Lin Chienta．Fast normalized cross correlation for defect detection [J]．Pattern Recognition Letters，2003，24：2625-2631．
[6] 孙卜郊，周东华．基于NCC的存在旋转的图像匹配方法[J]．传感器与微系统，2008，27(5)：43-45．
[7] 胡敏，贺晓佳，王晓华．快速区域质心图像匹配算法[J]．电子测量与仪器学报，2011，25(5)：455-462．。