自然环境下茄子采摘机器人目标识别方法

自然环境下茄子采摘机器人目标识别方法
王维强; 付斌
【期刊名称】《《安徽农业科学》》
【年(卷),期】2019(047)018
【总页数】4页(P224-227)
【关键词】自然环境; 霍夫变换; 条件概率; 贪婪算法
【作者】王维强; 付斌
【作者单位】哈尔滨商业大学黑龙江哈尔滨150028
【正文语种】中文
【中图分类】TP391.41
果蔬采摘在农业生产链中耗时较长且较为费力，农业机器人[1-3]在提高劳动生产率、解决劳动力不足、降低采摘成本等方面有着巨大突破。

自然环境下生长的果蔬，由于生长位置及方向具有随机性[4]，光照的不确定性[5]以及作业环境复杂多变[6]，导致采摘机器人容易出现采摘效率低、识别困难、失误率高等问题。

面向复杂多变的作业环境，提高采摘机器人的果蔬目标识别成功率，达到果蔬目标的精准识别是提高果蔬采摘成功率的关键，也是目前研究中所面临的主要问题[7-9]。

近年来，计算机视觉技术在农业领域[10]的运用发展使得果蔬采摘过程中的诸多问题得到有效改善。

针对采摘时光照不均、果蔬目标识别效率低的问题，熊俊涛等[11]对荔枝图像颜色特征进行分析，建立合适的颜色模型，再结合Otsu算法与模
糊C均值聚类算法对目标果实进行分割，实现快速准确识别。

但成簇的荔枝果实
较为密集，会出现部分或全部遮挡的情况，容易造成误检、漏检的情况。

Liu等[12]将YOLOv3[13]神经网络(CNNs)等模式识别算法应用于果蔬目标的检测，发
现这些神经网络具有很强的识别能力，除了识别果蔬目标外，还能够识别叶子、树枝以及被树叶遮挡的水果，在自然环境下对柑橘目标识别的成功率达95.35%。

但是，基于神经网络的检测算法计算量巨大，检测过程较慢。

笔者将条件概率加入到霍夫变换算法中，构建概率检测模型，然后利用贪婪算法求解最大后验概率来对茄子目标进行检测，有效解决了在投票时假设间具有较强独立性的问题。

同时，该研究设计的概率模型识别准确率高，抗干扰能力强，可为茄子采摘机器人后续的开发提供一种稳定、高效的目标识别方法。

1 目标检测及识别方法
霍夫变换[14]作为视觉领域的经典算法之一，近些年被广泛应用于目标检测研究中，并且在检测过程中对物体变形、噪声和遮挡情况都具有鲁棒性。

尽管该算法优势明显，但在霍夫投票过程中，由于缺乏概率模型的支持，导致假设间要有强独立性，但如果图像中的投票元素相邻，那么他们来自假设间显然存在强相关性，若可以松弛这种强独立性假设，则在检测精度方面也会有所提高。

1.1 搭建概率框架通常在霍夫变换的应用中，定义图像为N个投票元素形式，假
定霍夫空间为H，空间中每个点(h)对应于目标存在的假设。

同时定义投票元素i，随机变量xi=h∈H表示投票元素i由对象h生成，若xi=0则意味着投票元素i来自背景。

这样，在给定观测数据Y后，可将投票函数表示为：
V(xi=h|Y)
(1)
在对投票函数V(h|Y)定义时可近视看作是一个条件概率P(h|Y)，且此投票函数满
足条件概率的定义，因此可以在霍夫变换的基础上，以概率的方式对图像L的随
机变量x={xi}和y={yh}进行联合分布建模，应用贝叶斯定理，得出：
p(x,y|L)=p(L|x,y)×p(x,y)
(2)
对于似然项而言，假设给定现有对象y和假设赋值投票元素x的分布是独立的,同时还假设投票元素i仅取决于赋值对象xi，并独立于剩余投票和其他对象。

因此，再次应用贝叶斯定理得到：
(3)
当投票元素i为非背景假设h投票时，则假设h对应于现有目标，即yh=1。

现假设先验的因素分解为单变量xi和y，得到先验分布p(x,y):
(4)
式中,Z1为归一化常量。

同时,变量y的先验简单的惩罚了有效假设∑hHyh的数量，更倾向于用尽量少的对象解释:
p(y)=Z2∏hHexp(-λyh)
(5)
式中,Z2为归一化常量,λ为迭代阈值。

将式(3)、(4)、(5)代入式(2)中，得到最终表达式，并通过取对数，将模型的求解改为求下列对数后验函数的最大化问题：
(6)
式(6)的最大化在运筹学领域被称为设施选址问题。

求解式(6)可采用贪婪算法通过执行霍夫投票和使用在每次迭代时更新的特定投票来完成对目标的检测。

1.2 最大后验概率求解
1.2.1 传统的非极大值抑制方法。

在对目标具体位置定位过程中，常会采用非极大
值抑制算法[15](non maximum suppression，NMS)，对生成的大量候选框进行筛选，去除冗余的候选框，得到最佳检测框，以加快目标检测的效率。

抑制冗余框的过程其实就是迭代—遍历—消除的过程。

首先，对所有框按置信度得分进行排序，选中最高分对应的框，然后遍历其余的框并删除与当前最高得分框的重叠面积(intersection over union,IOU)大于设定阈值的框，同时标记保留的框。

最后，从未处理的框中继续选择置信度得分最高的框，重叠上述过程，直到选出所有框。

NMS过程如图1所示。

注：(a).初始检测窗口；(b).NMS结果Note：(a).Initial detection window；
(b).NMS results图1 NMS过程Fig.1 NMS process
1.2.2 贪心算法求解最大后验概率。

NMS算法还存在诸多问题。

首先，NMS的阈值不太容易设定，若阈值过小会导致误删，若阈值过高会增加误检的概率。

其次，当检测物体出现重叠或检测位置很近时，它将位置很近的检测框的置信度分数强制归零(即大于重叠阈值的检测框移除)，这样会降低算法的检测率。

采用一种贪婪算法来计算最大后验概率。

首先，该算法初始化最大迭代次数为N，初始所有的投票元素都为背景，不对任何的假设投票，即xi=0,yh=0。

其次，在
步骤t中，当投票元素该处目标投出概率投票时，算法激活霍夫空间的假设ht，
即xi=ht,并累积到霍夫图像M中。

投票元素从支持先前的假设转变为支持假设ht,计算公式如下。

(7)
投票被累积到霍夫图像M后，对于最大值假设ht=argmax(M)来说，若其大于设定的阈值λ，则加入到目标集合继续进行迭代，直到达到最大迭代次数N为止。

若小于或等于λ，则算法终止。

上述算法可概括为一个迭代过程，根据贪心的原则，每次找寻一个使目标函数得到最大增长的假设，并将该假设设定为目标。

每找出一个目标后，更新局部该目标的霍夫投票概率值，更新时不需要遍历所有元素，只需要目标假设相邻的元素即可，直至检测出图像中的所有目标为止。

2 试验结果与分析
该研究设计了自然环境下茄子图像的识别试验。

随机选取自然环境下的带有茄子目标的图象各200张，大小为640×480像素。

其中一个序列的茄子目标无明显遮挡，另一个序列的茄子目标存在部分被遮挡。

将30%的图片作为训练图片，其余用作测试图片。

在2个测试图象序列中各随机选取40张图片，添加方差为0.15的高斯噪声及椒盐噪声，验证在噪声干扰下的茄子目标的识别情况。

2.1 茄子目标识别试验由于自然环境下茄子果实的生长状况较为复杂，当出现多果实生长分布较为密集，多目标间相互遮挡重叠的情况，对茄子果实目标的识别正确率就不能按照正确识别个数来计算。

因此，针对多果实重叠目标的识别正确率判断，使用被识别果实目标像素数占总果实目标超过90%作为正确识别标准。

为获取概率投票，采取在16×16像素大小的图像块上学习的霍夫森林[16]，霍夫森林可将由存在目标及自然背景集合的图象中提取的图象块直接映射到框架中的p(xi|Y)。

利用测试图片去测试获得的模型，检测结果如图2、表1所示。

注：(a).无遮挡;(b).高斯噪声干扰，无遮挡;(c).部分遮挡;(d).椒盐噪声干扰，部分遮挡Note：(a).No occlusion； (b) .Gaussian noise interference,no occlusion;
(c).Partial occlusion ;(d).Salt-and-pepper noise interference,partial occlusion图2 茄子目标识别结果Fig.2 The target recognization results of eggplant
由表1可知，该模型对无遮挡的茄子目标检测的正确率达到94%，误检和漏检所
占比例均不足6%,取得了较高的识别正确率。

存在部分遮挡的茄子目标识别正确率达到89.3%，同样取得了较好的识别正确率。

对于添加椒盐及高斯噪声的茄子果
实目标图像来说，此模型基本不受噪声的影响，能够准确检测出目标，具有较强的抗噪能力。

表1 茄子目标识别结果Table 1 The eggplant’s target recognization results
序号No.待检图片类型Types of detected pictures 待检测图片数 Number of detected pictures∥张正确检测图片数 Number of correctly detected pictures∥张误检或漏检图片数 Number of falsely detected or missed pictures∥张识别正确率 Recognition accuracy%1无目标遮挡140132894.22部分目标遮挡1401251589.33无遮挡,存在噪声干扰4037392.54部分遮挡,存在噪
声干扰4036490.0
2.2 算法比较试验采用2种经典算法(传统霍夫变换算法、广义霍夫变换算法)与该研究中算法进行比较试验，验证识别的正确率。

同时，对3种算法使用上文2组测试图片序列进行对比试验，计算3种算法的识
别正确率，结果如图3所示。

由图3可以看出，由于自然环境较为复杂，对目标
的干扰较大，所以无论是采用传统霍夫变换算法，还是采用广义霍夫变换算法，茄子目标的识别正确率都不高，对于有遮挡的情况，检测效果同样不够理想。

该研究所用算法是在传统霍夫变换算法的基础上进行了改进，使得假设投票具有概率意义，增加了正确投票率。

同时，贪婪算法的使用效果也较传统的非极大值抑制方法更佳，最终使得茄子目标的识别正确率得到有效提高。

3 结论
该研究所提出的框架建立在霍夫变换算法的基础上，通过引入概率统计的意义使框架具有概率的性质。

同时，采用基于贪心算法来计算最大后验概率的方法也可以避免在霍夫图像中识别多个局部极值的问题。

该研究所用算法在茄子目标识别方面有
较高的准确率。

相较于传统的目标识别方法，该算法识别正确率有较大提升。

同时，该研究所建立模型具有较强的抗噪声干扰能力，识别结果同样具有鲁棒性。

图3 3种算法识别正确率的对比Fig.2 Recognition rate contrast among three kinds of algorithm
但在该研究所用的目标检测算法中，由于霍夫空间中的每个元素都是一个假设，所以在运行算法时会增加运行时间。

因此，为了减少相应的计算量，对算法进行了优化，使算法的检测效率得到提升，尚有待进一步研究。

参考文献
【相关文献】
[1] 唐琳,陈诚.农业采摘机器人[J].科技进步与对策,2019,36(3):162.
[2] 彭艳,刘勇敢,杨扬,等.软体机械手爪在果蔬采摘中的应用研究进展[J].农业工程学
报,2018,34(9):11-20.
[3] 周涛,张栋,周毛，等.番茄采摘机器人的设计与实现[J].安徽农业科学,2018,46 (28):182-185.
[4] 初广丽,张伟,王延杰,等.基于机器视觉的水果采摘机器人目标识别方法[J].中国农机化学
报,2018,39(2):83-88.
[5] 熊俊涛,卜榕彬,郭文韬,等.自然光照条件下采摘机器人果实识别的表面阴影去除方法[J].农业工程
学报,2018,34(22):147-154.
[6] 徐铭辰,牛媛媛,余永昌.果蔬采摘机器人研究综述[J].安徽农业科学,2014,42(31):11024-11027，11057.
[7] 王祎娜,沐森林,顾峰伟,等.国内外农机化技术发展现状与对策建议[J].中国农机化学报,2019，
40(3):227-230.
[8] 项荣,应义斌,蒋焕煜.田间环境下果蔬采摘快速识别与定位方法研究进展[J].农业机械学
报,2013,44(11):208-223.
[9] BECHAR A，VIGNEAULT C.Agricultural robots for field operations:Concepts and components[J].Biosystems engineering,2016,149:94-111.
[10] 李国利,姬长英,翟力欣.果蔬采摘机器人末端执行器研究进展与分析[J].中国农机化学
报,2014,35(5):231-236,240.
[11] 熊俊涛,林睿,刘振,等.夜间自然环境下荔枝采摘机器人识别技术[J].农业机械学
报,2017,48(11):28-34.
[12] LIU Y P,YANG C H,LING H,et al.A visual system of citrus picking robot using convolutional neural networks[C]//2018 5th International Conference on Systems and Informatics (ICSAI).Nanjing,China:IEEE,2018:344-349.
[13] REDMON J,FARHADI A.YOLOv3:An incremental improvement[R].2018.
[14] MUKHOPADHYAY P,CHAUDHURI B B.A survey of Hough Transform[J].Pattern recognition,2015,48(3):993-1010.
[15] 赵文清,严海,邵绪强.改进的非极大值抑制算法的目标检测[J].中国图象图形学
报,2018,23(11):1676-1685.
[16] GALL J,YAO A,RAZAVI N,et al.Hough forests for object detection,tracking,and action recognition[J].IEEE Transactions on Pattern Analysis & Machine
Intelligence,2011,33(11):2188-2202.。