YOLOv4与树莓派平台的轻量化柑橘检测算法

46
M i c r o c o n t r o l l e r s &E m b e d d e d S y
s t e m s 2021年第7期w w w .m e s n e t .c o m .c n
Y O L O v 4
与树莓派平台的轻量化柑橘检测算法*
韩进,舒媛
(山东科技大学计算机科学与工程学院,青岛266590
)*基金项目:山东省教育厅研究生教育质量提升计划项目(A D Y A L 17034
);山东科技大学优秀教学团队支持计划项目(J X T D 20170503);煤炭开采奥灰突水预警理论与监测关键技术研究(Z R 2020K E 023
)㊂摘要:为了满足高精度柑橘检测算法在嵌入式设备上的部署要求,论文基于Y O L O v 4与树莓派硬件平台设计了一种高
效的柑橘检测算法㊂首先借鉴G h o s t N e t 思想,设计了轻量级的网络单元并以此压缩了网络结构㊂其次,针对柑橘的形状特征用圆形边界框进行目标定位,同时改进了C I O U 边框回归损失函数㊂实验结果表明,改进后的算法在柑橘检测任务中的F 1分数达83.95%,尤其对遮挡问题的改善效果明显,而模型大小仅为52.5M B ,
移植到树莓派平台后对单张图片处理时间不足Y O L O v 4的三分之一,内存占用率仅为28.6%㊂关键词:G h o s t N e t ;Y O L O v 4;
轻量化;柑橘检测;树莓派中图分类号:T P 391 文献标识码:A
L i g h t -w e i g h t C i t r u s D e t e c t i o n A l g o r i t h m B a s e d o n Y O L O v 4a n d R a s p b e r r y P
i H a n J i n ,S h u Y u a n
(C o l l e g e o f C o m p u t e r S c i e n c e a n d E n g i n e e r i n g ,S h a n d o n g U n i v e r s i t y o f S c i e n c e a n d T e c h n o l o g y ,Q i n g
d a o 266590,C h i n a )A b s t r a c t :I n o r d
e r t o m e e t t h e d e p l o y m e n t r e q u i r e m e n t s o
f h i
g
h -p r e c
i s i o n c i t r u s d e t e c t i o n a l g
o r i t h m s o n e m b e d d e d d e v i c e s ,a n e f f i c i e n t c i t r u s d e t e c t i o n a l g o r i t h m b a s e d o n Y O L O v 4a n d t h e R a s p b e r r y P i h a r d w a r e p l a t f o r m i s d e s i g n e d .F i r s t l y ,a l i g h t -w e i g
h t n e t w o r k u n i t i s d e s i g n e d b a s e d o n t h e i d e a o f G h o s t N e t ,a n d t h e n e t w o r k s t r u c t u r e i s c o m p r e s s e d i n t h i s w a y .S e c o n d l y ,t a r g e t i n g w i t h c i r c u l a r b o u n d i n g b o x e s f o r t h e s h a p e c h a r a c t e r i s t i c s o f c i t r u s ,a n d i m p r o v e t h e C I O U b o u n d i n g b o x r e g r e s s i o n l o s s f u n c t i o n .T h e e x p
e r i m e n t r e s u l t s s h o w t h a t t h e i m p r o v e d a l g o r i t h m a c h i e v e s a n F 1s c o r e o
f 83.95%i n t h e c i t r u s d e t e c t i o n t a s k ,e s p e c i a l l y t h e i m p r o v e m e n t e f f e c t o n t h e o c c l u -s i o n p r o b l e m i s o b v i o u s ,w h i l e t h e m o d e l s i z e i s o n l y 52.5M B ,a n d t h e p r o c e s s i n
g t i m e f o r a s i n g l e i m a g e i s l e s s t
h a n o n e -t h
i r d o f Y O L O v 4a f t e r p o r t i n g t o R a s p b e r r y P i p l a t f o r m ,a n d t h e m e m o r y u s a g e i s o n l y 2
8.6%.K e y
w o r d s :G h o s t N e t ;Y O L O v 4;l i g h t -w e i g h t ;c i t r u s d e t e c t i o n ;R a s p b e r r y P i 0 引 言
随着柑橘采摘机器人的兴起,柑橘检测精度与硬件平
台资源配置之间的矛盾日益凸显㊂一方面,目前先进的检测算法构造复杂,对移动端的运行要求较高;另一方面,由于柑橘的果实遮挡严重,大多轻量级的检测方法难以满足实际应用需求㊂因此,高效的柑橘检测算法对推动柑橘采摘自动化具有重要意义㊂
近些年,围绕柑橘等水果检测的研究日益丰富㊂卢军
等[1]
提出基于R B 色差图拟合出符合水果形状的椭圆,
但仍需人工干预㊂岳有军等[2]改进了M a s k R C N N [3]
并
用于苹果检测,但算法检测成本过高㊂相较而言,
Y O L O v 4[3]
算法在保证检测精度的同时降低了训练门槛,
但若要满足实际的检测要求,仍需进一步改进㊂
本文基于Y O L O v 4检测模型,结合G h o s t N e t [5]
的低成本网络压缩思想给出了轻量级的柑橘检测方法㊂首先,
结合轻量级模块改进了基本结构块和网络模型,减少冗余的内存消耗㊂此外,采用圆形边界框对柑橘进行匹配并以
此改进了C I O U [3]
损失函数㊂实验结果证明,
本文给出的改进算法移植到树莓派平台上仍达到了高效的检测效果㊂
1 Y O L O v 4网络结构
Y O L O v 4由特征提取网络㊁
特征融合部分和网络预测三部分组成㊂其中输入图片的特征提取由C S P D a r k -n e t 53骨干网络负责,
为了避免在特征层更新过程中梯度信息的重复利用,结合了D a r k n e t 53与跨阶段局部网络的思想,丰富了梯度组合方式㊂其次,Y O L O v 4采用P A N e t
[3]作为特征融合模块,还增加了S P P 结构进一步扩大最后一层特征图的感受野,提取显著信息㊂最后,网络预测部分获取矩形先验框中包含的物体信息以及先验框的调整参
敬请登录网站在线投稿
(t o u g
a o .m e s n e t .c o m.c n )
2021年第7期
47
数,然后通过损失函数进行进一步的优化训练㊂Y O L O v 4网络由许多基本结构块组成,其中包含许多冗余操作,增加了在嵌入式平台下的运行成本㊂
2 轻量化柑橘检测算法S l i m Y O L O v 4设计
2.1 轻量级模块设计
2.1.1 G h o s t 模块
Y O L O v 4的网络结构中堆叠了大量的卷积块,
它们会占用很大部分的硬件资源,本文结合G h o s t N e t 中提出的轻量级G h o s t 模块来提高卷积运算效率㊂G h o s t 模块示意图如图1所示
㊂
图1 G h o s t 模块示意图
首先用标准卷积操作生成部分原始特征图,再用低成本的深度卷积生成原始特征图的 幻影 (其中Φk 是原始特征图的恒等映射),最后叠加输出特征图㊂此外,传统G h o s t 模块中采用的R e l u 激活函数在输入为负时存在梯
度消失的问题,而M i s h 激活函数在保证网络稀疏的同时梯度下降更加平滑,因此,将G h o s t 模块中R e l u 函数替换为M i s h 激活函数㊂
2.1.2 R e s n 残差块
为了降低C S P D a r k n e t 53骨干网络的运算成本,
本文在原始残差结构的基础上将卷积块替换为改进的G h o s t
模块㊂R e s n 残差块如图2(a
)所示
㊂图2 轻量级模块结构示意图
R e s n 结构将输入特征图与经过两层G h o s t 模块堆叠
后的特征图拼接起来,其中第一层G h o s t 模块将扩张后的
特征图经过M i s h 激活函数和批量标准化操作后传入下一
层㊂参考M o b i l n e t v 2[8]
中的L i n e a r b o t t l e n e c k s
,第二层G h o s t 模块卷积后为避免激活函数对特征图造成破坏,
只经过批量标准化操作传入下一模块㊂
2.1.3 R e s d o w n 下采样模块
考虑到Y O L O v 4中采用的降采样操作成本太高,
结合G h o s t N e t 的瓶颈层结构设计了如图2(b
)所示的模块代替传统的下采样操作㊂R e s d o w n 将输入特征图分成
两部分,一部分经过1ˑ1的G h o s t 模块㊁步长为2的3ˑ3深度卷积等作用后特征图尺寸减半㊁通道数扩张,同时,为了尽可能保证特征图压缩过程中不破坏特征信息,另一部分经过步长为2的深度卷积之后进行标准卷积,并将两部分小尺寸的特征图拼接即可得到与原始下采样相同尺寸的输出特征图㊂
2.2 轻量级网络S l i m Y O L O v 4设计
S l i m Y O L O v 4是在Y O L O v 4网络基础上适当裁剪再由改进的基本结构块搭建而成的,其网络结构如图3所示㊂
图3中A 为负责特征提取的G C S P D a r k n e t 骨干网
络,其中下采样操作采用R e s d o w n 模块,每次尺寸压缩后再通过n 次R e s b l o c k 模块进行特征信息提取,二者共同组成了R e s b o d y 的基本结构块,并以此搭建出骨干网络的整体架构,其中网络单元R e s b l o c k 结构如图4所示㊂
为了丰富梯度组合方式,将下采样后的输入特征图分成两个部分,其中一部分在标准卷积后直接加入模块尾部,另一部分经过n 个R e s n 残差结构块后进行拼接㊂优化后的G C S P D a r k n e t 网络将计算量平均分配到骨干网络的每一层,最大限度地降低了不必要的内存消耗㊂图3中B 为负责特征融合的Y O L O N e c k 部分,本文在尽可能少牺牲预测精度的基础上将其中部分卷积操作替换为G h o s t 模块,并将特征融合中涉及的下采样操作替换为R e s d o w n 模块,改进后的Y O L O N e c k 计算量约下降了4到5倍㊂
图3中C 为网络预测部分,S l i m Y O L O v 4将416ˑ
416的输入图像经下采样处理,共分成13ˑ13㊁26ˑ26㊁52ˑ52的三种尺寸进行预测,其中G B L 模块进行特征整合,再通过进一步的卷积操作获取最终预测结果㊂
2.3 基于C B b o x 的边框回归损失函数
为了提升柑橘的检测精度,同时减少网络参数量,借
鉴L i u 等[9]
在番茄检测算法中采用的C B b o x
,将Y O L O v 4的边界框形状由矩形改为圆形,
这样可以更好地对柑橘进行匹配㊂
Y O L O v 4损失函数由回归框的损失函数㊁
置信度的损失函数㊁分类的损失函数三部分组成,本文改进了回归
48
M i c r o c o n t r o l l e r s &E m b e d d e d S y
s t e m s 2021年第7期w w w .m e s n e t .c o m .c n
图3 S l i m Y O L O v 4网络结构
框的损失函数,用基于C B b o x 的C I O U 来衡量预测框与
真实框的重叠面积㊁中心点距离和大小相关性,边框回归
损失函数用式(1
)表示:L o s s (b o x )=λc o o r d ðK ˑK
i =0ðM
j =0
I
o b
j
i ,j 2-2r i 1-I OU i +d
i
2c i
2+α
i νi
(1
)图4 R e s b l o c k 结构块
其中KˑK 表示方格的数量,M 表示方格中先验框的数量,I o b j
i ,j
表示第i 个方格的第j 个先验框中包含的检测目标,常数λc o o r d 设置成
5㊂此外还增加了2-2r i 的权重来加大对小物体的惩罚,从而在
对大物体没有影响的情况下提升小物体的检测精度㊂C I -O U 的惩罚项用式(2
)表示:R C I O U =d 2
b ,b
g
t
c
2+αν(2
)其中d b ,b
g
t 表示真实框与预测框中心点的距离,c 表示同时包含真实框与预测框的最小C B b o x 的直径㊂α㊁υ表示权重函数和大小相似性的度量,分别用式(3)㊁式(4
)表示:α=
υ
1-I O U
+υ(3)υ=4π2a r c t a n 2γg
t c
g t -a r c t a n 2γ
c
2
(4
)α㊁υ正向影响损失函数,
其中权重函数α作为权衡因子不参与求导,υ则用C B b o x 的半径与最小外接圆直径比值代替原C I O U 函数中对矩形边界框长宽比一致性的衡量㊂
3 实 验
3.1 M i x O r a n g
e 数据集为保证数据的多样性,先从多个果园实地拍摄,然后通过网络图像爬取等方式采集了4500张图片,
之后使用色域变换㊁马赛克等图像增强的方式扩展数据集㊂为了缩短网络训练时间,对数据集进行了统一格式的修整,首先将图像尺寸裁剪为416ˑ416像素,然后对所有图像中柑橘位置和种类信息进行标记㊂最后,按照5:1:1的比例随机分为训练集㊁验证集㊁测试集三部分㊂
3.2 实验环境及设计
本次实验中,用于训练的P C 端操作系统为64位的
W i n d o w s 10,处理器为6核AM D R 536003.59G H z ㊁G e -F o r c e R T X 2060显卡㊂选取的嵌入式设备为树莓派
R a s p b e r r y P
i 4b ,其内存为4G B D D R 4,处理器为4核1.5G H z 的A R M v 7㊂
S l i m Y O L O v 4网络先在I m a g
e n e t 数据集上进行部分参数的训练,再在M i x O r a n g e 数据集中二次训练,不仅能减少训练时间,还能增强网络的鲁棒性㊂之后将网络模型嵌入到树莓派硬件平台中,并采用H D 91U S B 免驱摄像头采集图片,其帧数为每秒30帧,
高清动态分辨率最大可达2048ˑ1536,
能较好地保证柑橘的实时检测效果㊂3.3 实验分析
3.3.1 P C 端的算法对比分析
如表1所列,将S l i m Y O L O v 4与其他先进的算法进
行比较,为了保证实验的客观性,所有算法均在M i x O r -
a n g
e 数据集中进行训练㊂由实验结果可知,Y O L O v 4T i n y 与S l i m Y O L O v 4的模型体积均低于60M B ,
满足嵌入式设备对内存开销的要求㊂此外,S l i m
Y O L O v 4检测精度虽稍逊于
Y O L O v 4,但F 1分数达到了近84%,与Y O L O v 3[10]
检测
敬请登录网站在线投稿
(t o u g
a o .m e s n e t .c o m.c n )
2021年第7期
49
精度相当,满足实际应用的需求㊂S l i m Y O L O v 4在P C 端训练后对柑橘的检测效果如图5所示㊂
表1 不同检测算法的比较
方法
骨干网络F 1/%模型
大小/M B 速度/f p
s Y O L O v 3D a r k N e t 53
84.28236.334.20Y O L O v 4
C S P
D a r k n e t 53
88.68244.336.40Y O L O v 4T i n y C S P D a r k n e t 53_T i n y 7
6.9022.6159.30
S l i m Y O L O v 4
G C S P D a r k n e t
83.95
52.5
82.97
图5 S l i m Y O L O v 4对柑橘的检测结果
3.3.2 消融实验分析
为了验证S l i m
Y O L O v 4算法的合理性,
针对网络改进点做如下消融实验㊂
如表2所列,将原Y O L O v 4骨干网络替换成G
C S P
D a r k n e t 后权重下降了近一半,改进Y O L O N e c k 后
运行速度提升了10.62f p
s ,F 1值仅下降了1.45%㊂虽然网络检测精度稍有下降,但通过匹配柑橘与边界框的形状,引入C B b o x 后F 1值提升了1.34%,
结合改进后的损失函数使得整个算法的参数量下降,其中权重大小为
50.38M B ,仅占Y O L O v 4的五分之一,
因此改进后的网络不仅运行速度有所提升,同时也没有影响特征融合和预测的效果㊂
表2 各个改进点对网络的影响
方法
G C S P D a r k n e t Y O L O
N e c k
C B b o x F 1
/%速度/f p s 权重大小
/M B Y O L O v 488.7835.40251.16ɿ84.0668.46106.59ɿɿ82.61
79.0854.61S l i m
Y O L O v 4
ɿ
ɿ
ɿ
83.95
82.97
50.38
3.3.3 基于树莓派的验证
为验证S l i m
Y O L O v 4算法的轻量化效果,将其迁移至嵌入式平台中运行㊂如图6所示,分别为三种算法在树莓派平台下对实时采集图片的检测效果㊂
如图6(a )所示,Y O L O v 3算法在第一个检测任务中
由于树叶遮挡㊁远距离拍摄等因素,对部分小物体检测效果不佳,在第二个任务中存在由果实遮挡造成的漏检;图6(b )中Y O L O v 4虽然检测精度较高,
但由于采用矩形框,对柑橘的框定位置较为粗糙;而图6(c )中S l i m Y O L O v 4算法的检测结果与柑橘标定位置较为准确㊂此外,在树莓派硬件平台中执行同一检测任务时,Y O L O v 4
的系统内存占用率高达近50%,
处理一张图片需要6.673s ,而S l i m Y O L O v 4内存占用率仅为28.6%,
单张图片的检测时间仅为1.75s ㊂综合而言,S l i m Y O L O v 4可以有效嵌入树莓派平台中检测,且检测结果较为精确,
占用内存开销较小㊂
图6 树莓派平台下的检测结果
4 结 语
本文给出了一种满足嵌入式平台运行的轻量化柑橘
检测方法㊂首先,基于G h o s t 模块分别设计了高效的网络单元用于特征提取和下采样㊂然后对网络结构进行了压缩,丰富特征图信息的同时提升实时检测速度㊂此外,结
50
M i c r o c o n t r o l l e r s &E m b e d d e d S y
s t e m s 2021年第7期w w w .m e s n e t .c o m .c n
合柑橘的外观形状,采用圆形边界框代替传统矩形边界框,并以此改进了边框回归损失函数,不仅降低了运算量,还提升了柑橘检测精度㊂通过对比实验及嵌入树莓派的验证可知,S l i m Y O L O v 4算法具有内存开销小㊁检测精度高的特点,能够满足柑橘采摘的实际需要㊂未来,还将尝试加入更多的影响因素来完善此算法,并将其应用于柑橘采摘的机器人中
㊂
参考文献
[1
]卢军,桑农.变化光照下树上柑橘目标检测与遮挡轮廓恢复技术[J ].农业机械学报,2014,45(4):681,60.
[2]岳有军,田博凯,王红君,等.基于改进M a s k R C N N 的复杂
环境下苹果检测研究[J ].中国农机化学报,2019,40(10)
:128134.
[3]H E K M ,G K I O X A R I G ,G I R S H I C K R ,e t a l .M a s k R C N N
[C ]//P r o c e e d i n g
s o f t h e 2017I E E E I n t e r n a t i o n a l C o n f e r e n c e o n C o m p u t e r V i s i o n .P i s c a t a w a y
:I E E E ,2017:29802988.[4]B o c h k o v s k i y A ,W a n g C Y ,L i a o H Y M.Y O L O v 4:o p
t i m a l s p e e d a n d a c c u r a c y o f o b j e c t d e t e c t i o n [J ].C o m p
u t e r V i s i o n a n d P a t t e r n R e c o g
n i t i o n ,2020,17(9):198215.[5]HA N K ,WA N G Y ,T I A N Q ,e t a l .G h o s t N e t :M o r e f e a t u r e s
f r o m c h e a p o p e r a t i o n s [C ]//P r o c e e d i n g
s o f t h e I E E E /C V F C o n f e r e n c e o n C o m p u t e r V i s i o n a n d P a t t e r n R e c o g n i t i o n ,2020:15801589.
[6]Z h e n g Z ,W a n g P ,
L i u W ,e t a l .D i s t a n c e I o U L o s s :F a s t e r a n d B e t t e r L e a r n i n g f o r B o u n d i n g B o x R e g
r e s s i o n [C ]//A A A I C o n f e r e n c e o n A r t i f i c i a l I n t e l l i g
e n c e ,2020.[7]S h u L ,L u Q ,H a i
f a n
g Q ,e t a l .P a t
h a g g r e g
a t i o n n e t w o r k f o r i n s t a n c e s e g m e n t a t i o n [C ]//I E E E C o n f e r e n c e o n C o m p
u t e r V i s i o n a n d P a t t e r n R e c o g n i t i o n .S a l t L a k e C i t y
:I E E E ,2018:87598768.
[8]S a n d l e r M ,H o w a r d A ,Z h u M ,e t a l .M o b i l e n e t v 2:I n v e r t e d
r e s i d u a l s a n d l i n e a r b o t t l e n e c k s [C ]//I E E E C o n f e r e n c e o n
C o m p u t e r V i s i o n a n d P a t t e r n R e c o g n i t i o n .S a l t L a k e C i t y
:I E E E ,2018:45104520.
[9]L i u G ,N o u a z e J C ,T o u k o P L ,e t a l .Y O L O T o m a t o :A R o -b u s t A l g o r i t h m f o r T o m a t o D e t e c t i o n b a s e d o n Y O L O v 3[J ].S e n s o r s ,2020,20(7).
[10]R e d m o n J ,F a r h a d i A.Y O L O v 3:a n i n c r e m e n t a l i m p
r o v e -m e n t [C ]//I E E E C o n f e r e n c e o n C o m p
u t e r V i s i o n a n d P a t -t e r n R e c o g
n i t i o n ,2018:8995.韩进(教授),主要研究方向为嵌入式计算机控制㊁计算机系统结构㊁电子电路;舒媛(硕士研究生),主要研究方向为嵌入式系统技术㊁物联网软件技术㊂通信作者:韩进,s h n k 123@163.c o m
㊂
(责任编辑:
薛士然 收稿日期:2021-02-22
)
图7 C a m e r a L i n k 接收图像
4 结 语
本文面向实时高速数字图像的采集和处理,运用模块
化设计思想,基于Z y n q 7
000数字图像处理系统实现了数字图像高速输入与采集㊁存储与传输和显示功能,并且设计了简易的验证平台㊂经过验
证,本系统实时性高㊁体积小㊁性能稳定,可以实现大数据量的图像采集与传输,目
前已应用在实际的项目中㊂
参考文献
[1]刘宏,符意德.基于Z y n q 芯片的图像处理系统平台设计[
J ].计算机与现代化,2015(8):4347.
[2]王珂.基于Z Y N Q 的高速图像采集处理平台设计与验证
[D ].济南:山东大学,2016.
[3]黄志超.基于C a m e r a l i n k 标准的D S P +F P G A 数字图像处理
系统设计[J ].科技与管理,2012(7):152153.
[4]陈炎斌,金钢.基于C a m e r a _L i n k 标准的高速实时数字图像
处理系统设计[J ].现代科学仪器,2010(6):6163.
[5]刘应盼.基于Z Y N Q 的图像采集处理系统设计与实现[D ].
西安:西安电子科技大学,2019.[6]焦再强.基于Z y n q 7000的嵌入式数字图像处理系统设计与实现[D ].太原:太原理工大学,2012.
[7]高媛,商远波.一种基于C a m e r a L i n k 的数字图像处理系统[J ].制导与引信,2017(38):2932.
[8]杨晓安,罗杰,苏豪,等.基于Z y n q 7
000高速图像采集与实时处理系统[J ].电子科技,2014(7):151154.
[9]郭钊.嵌入式图像并行处理系统的研究与应用[D ].
兰州:兰州理工大学,2014.
通信作者:王咏星,78233164@q q
.c o m ㊂(责任编辑:薛士然 收稿日期:2021-01-26
)。