基于PCAW-UNet的田间杂草实时分割

苗、杂草和背景进行分类,并获取其区域位置.此外,网络参数量仅为2.48 M,fps为50.7,处理单张图像仅
需19.7 ms，具有实时处理速度快、准确率高等优点.该方法用少量样本将杂草分割训练到近乎人工标注
精度，所需计算资源较少,内存占用率低，可为轻量级网络模型在农业机器人等小型嵌入式设备中的实
时分割提供参考.
收稿日期：2020-11-04 基金项目：国家自然科学基金面上项目（61673020）：“商空间链的表示与海量信息的问题求解方法研究”；安徽省教
育厅2019年度高校学科（专业）拔尖人才学术资助项目（gxbjZD74）;安徽省教育厅2019年度高校自然 科学研究重点项目（KJ2019A1065）：“基于SNMP的中小型企业网故障管理模型研究” 作者简介:王 红（ 1983—）,女，安徽霍邱人，安徽大学计算机科学与技术学院硕士，六安职业技术学院信息与电子 工程学院副教授，主要从事人工智能，机器学习研究.
Abstract: Deep learning has been widely used in the field of image segmentation, which can effectively locate the position of seedlings and weeds, reduce the use of herbicides, and avoid unnecessary production costs and environmental pollution. In this paper, a real-time segmenta­ tion method based on UNet network is proposed. With UNet as the backbone network, multiscale information fusion is extracted. A dual attention module is added at the end of the model. Considering the dependence of image pixel position and the information relationship between different channels, the pixel level classification of RGB image category information is carried
1材料与方法
1.1材料 使用的数据集来自于德国北部的一个商业有机胡萝卜农场，胡萝卜幼苗所处的生长期约为BBCH
(描述作物生长状态的一套标准方法)10〜20[16].这些图像于2013年通过安装在自动田野机器人Bonirob[17]上的摄像头拍摄，胡萝卜幼苗单排种植在农田的小土坝上 .Bonirob沿着胡萝卜行行驶，速度约为 4.5 cm/s.该机器人采用了 JAI多光谱相机[18],可以同时捕捉可见光和近红外光.拍摄的图像规格为 1 296x966像素，PNG格式，采用默认工厂配置中的所有参数.相机向下拍摄，离地面垂直高度约为 450 mm,焦距为15 mm。为避免因光照不均对所采集图像造成影响，在机器人下方的遮蔽区域采用人 工照明，使得图像的受光强度保持一致.图1为胡萝卜幼苗和杂草的样本图像，选取60张作为数据集, 随机选择80%的样本作为训练数据集,剩下的20%样本用作测试数据集.
29
用的标记样本数较少，所以对深度学习模型的鲁棒性、泛化能力要求更高，并且存在类别不均衡问题.为 此，本文提出了位置与通道联合注意力加权U型网络(Position-Channel Attention Weighted U-Net,简称 PCAW-UNet).针对样本不均衡问题，采用动态加权交叉熵损失函数，将较高的权值分配给分割精度较 低的像素,可以使网络从预测较差的图像区域获得更多信息 .本文设计的模型结构简单，计算速度更快, 充分考虑了空间位置与通道位置的语义信息，适合处理每个类的像素数量占比不均衡、样本量少的杂草 图像分割.为在SSWM应用程序中生成杂草分割图提供了参考.
分割方法，以UNet为主干网络,提取多尺度信息融合，在模型末端添加双注意力模块，考虑图像像素位
置之间的依赖关系与不同通道间的信息联系，对RGB图像中的类别信息进行像素级别分类.引入动态
权重系数，解决因样本类别占比不平衡导致分类精度低的问题.实验结果表明：本文所提方法在测试集
上平均分割准确率达98.7%,平均交并比为93.4%,比原始UNet模型有显著改进，可有效地对胡萝卜幼
28
西安文理学院学报(自然科学版)
第 weight coefficient is introduced to solve the problem of low classification accu­ racy due to the imbalance of sample categories. The experimental results show that the average segmentation accuracy of the proposed method is 98.7% and the average cross union ratio is 93. 4% on the test set, which is significantly improved compared with the original UNet model. It can effectively classify carrot seedlings, weeds and background , and obtain their regional posi­ tion. In addition, the amount of network parameters is only 2.48 M, fps is 50.7, and the pro­ cessing time of single image is only 19.7 ms, and it has the advantages of fast real-time pro­ cessing speed and high accuracy. This method uses a small number of samples to train the weed segmentation to almost manual annotation accuracy, which requires less computing resources and low memory occupation rate. It can provide a reference for the real - time segmentation of lightweight network model in small embedded devices such as agricultural robots. Key words： weed segmentation； convolution network； machine vision； image recognition.
第 24 卷第 2 期 2021年4月
西安文理学院学报(自然科学版) Journal of Xi' an University( Natural Science Edition)
文章编号：1008-5564( 2021) 02-0027-11
Vol. 24 No. 2 Apr. 2021
基于PCAW-UNet的田间杂草实时分割
随着深度学习的不断发展，卷积神经网络(convolutional neural network , CNN)被广泛地运用在图像 处理领域,它能够提取图像的高层特征，降低人工设计特征的影响，在识别和分割领域效果显著［8-9］. 2015年,Hall等［I0］以幼苗期胡萝卜及杂草为研究对象，构建深度卷积神经网络(Deep Convolutional Neural Networks,DCNN)模型，使用预训练好的DCNN作为特征提取器，结合图像纹理信息和形状特征, 以训练图像分类模型，该方法使得植物分类的准确性有了显著的提高.2016年,Potena C等［11］设计了一 种基于RGB+NIR图像的分类感知系统，利用两种不同的卷积网络结构对甜菜和杂草进行分类 ，浅层网 络用于植被检测,深层网络将检测到的植被进一步分为作物和杂草，植被识别的平均准确率为98%. 2019年,孙俊等［I2］基于深度可分离卷积融合多通道信息构建了甜菜与杂草分割识别模型，试验取得了 良好的分割效果.
喷洒农药已成为农业种植中杂草控制的主要手段，如果普遍采用无针对性的农药喷洒方式，忽略杂 草的分布情况,不仅会导致农药利用率低下、造成环境污染和农作物化学残留,而且还会引起农产品的 安全问题［I］.在智慧农业中，通过现场特定杂草管理(site-specific weed management, SSWM)精确喷洒农 药，降低了约40%~60%的农药用量，在减少环境污染的同时，增加农业生产经济利润［2］.因此,快速准 确地识别杂草及其位置是现场特定喷洒的基础 .
关键词:杂草分割;卷积网络;机器视觉;图像识别
中图分类号:TP301.6
文献标志码:A
Real-time Segmentation of Field Weeds Based on PCAW-UNet
WANG Hong1，2, CHEN Gong-ping2
( 1. School of Computer Science and Technology, Anhui University, Hefei 230601, China; 2. The Secondary College of Information and Electronic Engineering, Lu'an Vocational Technical College, Lu'an 237158, China)
深度卷积神经网络模型在杂草识别领域效果显著，能够解决传统机器学习中由特征选择带来的缺 陷，提高了识别准确率［I3-I5］.由于图像语义分割的目的是获取每个像素对应位置的分类结果，分割过程 对硬件设备要求较高，且非常耗时，难以满足卷积运算实时处理的要求.此外，由于田间杂草分割实际可
第2期
王红，等.基于PCAW-UNet的田间杂草实时分割
王红⑺，陈功平2
（1.安徽大学计算机科学与技术学院，合肥230601 ； 2.六安职业技术学院信息与电子工程学院，安徽六安237158）
摘要:深度学习已被广泛运用于图像分割领域，将其用于农业方面，能有效地将幼苗和杂草的位
置准确定位，降低除草剂的使用，避免不必要的生产成本和环境污染.提出了一种基于UNet网络的实时
定点喷洒除草剂首先需要生成作物与杂草的分割图，将机器视觉应用在杂草与作物识别和分割中 已有广泛的研究.1995 年,Weobbecke等⑶首次将田间的彩色图像转换为RGB颜色空间和HIS颜色空 间并应用到田间杂草识别中，为机器视觉学习在田间杂草处理方面奠定了基础.2009年,Lin等⑷利用 支持向量机(support vector machine, SVM)建模识别杂草，选择7个形状特征对作物杂草进行识别分类, 将图像识别技术应用到杂草识别中，提出“Pixelwise method”算法识别彩色杂草.2014年,Haug等［5］提出 了一种在RGB和近红外(NIR)图像中区分胡萝卜植株和杂草的方法，该方法将形状特征和像素分布相 结合,在甜菜杂草数据集上取得了 85.9%的准确率.Rainville等［6］提出了机器视觉和形态学相结合的田 间杂草分类方法，利用植被的空间位置特征信息来提取玉米和大豆田中杂草的形态特征,并将所提取的 特征传递到贝叶斯分类器，以识别杂草和作物.2018年,Xu等［7］对粒子群算法进行改进,并将其运用到 所设计的精准除草剂喷洒系统上，在玉米田间试验中取得了较高的准确率 .以上方法均是先提取植被特 征信息，然后通过分类器完成识别或分割任务.虽然在特定环境下取得较好效果,但对复杂场景下形状、 颜色和纹理等差异不明显的作物和杂草识别准确率较低.此外，识别效果也易受人工特征选择的影响, 对杂草图像可能出现的遮挡、重叠和缺失等情况研究不充分，导致模型泛化能力较差.所以，提高杂草识 别准确率在农业场景运用中仍是亟需解决的问题 .