智能决策系统的深度神经网络加速与压缩方法综述

第１０卷㊀第２期㊀２０１９年４月

指挥信息系统与技术

C o mm a n d I n f o r m a t i o nS y s t e ma n dT e c h n o l o g y

V o l ．１０㊀N o ．２

A p

r ．２０１９ 发展综述

d o i :１０．１５９０８/j

．c n k i ．c i s t ．２０１９．０２．００２智能决策系统的深度神经网络加速与压缩方法综述∗

黄㊀迪㊀刘㊀畅

(中国科学院大学计算机科学与技术学院㊀北京１０００４９

)摘㊀要:深度神经网络凭借其出色的特征提取能力和表达能力,在图像分类㊁语义分割和物体检测等领域表现出众,对信息决策支持系统的发展产生了重大意义.然而,由于模型存储不易和计算延迟高等问题,深度神经网络较难在信息决策支持系统中得到应用.综述了深度神经网络中低秩分解㊁网络剪枝㊁量化㊁知识蒸馏等加速与压缩方法.这些方法能够在保证准确率的情况下减小深度神经网络模型㊁加快模型计算,为深度神经网络在信息决策支持系统中的应用提供了思路.关键词:深度神经网络;低秩分解;网络剪枝;量化;知识蒸馏

中图分类号:T P ３０１．６㊀㊀文献标识码:A㊀㊀文章编号:１６７４Ｇ９０９X (２０１９)０２Ｇ０００８Ｇ０６

R e v i e wo fA c c e l e r a t i o na n dC o m p r e s s i o n M e t h o d s f o rD e e p N

e u r a lN e t w o r k s i n I n t e l l i g e n tD e c i s i o nS y

s t e m s HU A N G D i ㊀L I U C h a n g

(S c h o o l o fC o m p u t e r S c i e n c e a n dT e c h n o l o g y ,U n i v e r s i t y o fC h i n e s eA c a d e m y o f S c i e n c e s ,B e i j i n g １

０００４９,C h i n a )A b s t r a c t :F o r t h e e x c e l l e n t f e a t u r e e x t r a c t i o na b i l i t y a n de x p r e s s i o na b i l i t y ,t h ed e e p n e u r a l n e t Ｇ

w o r kd o e sw e l l i n t h e f i e l d s o f i m a g e c l a s s i f i c a t i o n ,s e m a n t i c s e g m e n t a t i o na n do b j

e c t d e t e c t i o n ,e t c ．,a n d i t p l a y s a s i g n i

f i c a n t r o l eo nt h ed e v e l o p m e n to f t h e i n f o r m a t i o nd e c i s i o ns u p p o r t s y s Ｇ

t e m s ．H o w e v e r ,f o r t h e d i f f i c u l t y o fm o d e l s t o r a g e a n dh i g hc o m p u t a t i o nd e l a y ,t h e d e e p n e u r a l n e t w o r k i sd i f f i c u l t t ob ea p p l i e d i nt h e i n f o r m a t i o nd e c i s i o ns u p p o r t s y

s t e m s ．T h ea c c e l e r a t i o n a n dc o m p r e s s i o n m e t h o d s f o r t h ed e e p n e u r a l n e t w o r k ,i n c l u d i n g l o w Ｇr a n kd e c o m p o s i t i o n ,n e t Ｇ

w o r k p r u n i n g ,q u a n t i z a t i o n a n dk n o w l e d g

e d i s t i l l a t i o n a r e r e v i e w e d ．T h em e t h o d s c a n r e d u c e t h e s i z e o fm o d e l a n d s p e e du p t h e c a l c u l a t i o nu n d e r t h e c o n d i t i o no

f e n s u r i n

g t

h e a c c u r a c y ,a n dc a n p r o v

i d e t h e i d e a o f t h e a p p l i c a t i o n i n t h e i n f o r m a t i o nd e c i s i o ns u p p o r t s y

s t e m s ．K e y w o r d s :d e e p n e u r a ln e t w o r k ;l o w Ｇ

r a n k d e c o m p o s i t i o n ;n e t w o r k p r u n i n g ;q u a n t i z a t i o n ;k n o w l e d g

e d i s t i l l a t i o n ㊀❋基金项目:装备发展部 十三五 预研课题(３１５１１０９０４０２

)资助项目.收稿日期:２０１８Ｇ１１Ｇ２６

引用格式:黄迪,刘畅．智能决策系统的深度神经网络加速与压缩方法综述[J ]．指挥信息系统与技术,２０１９,１０(２):８Ｇ１３．

HU A N GD i ,L I U C h a n g ．R e v i e wo f a c c e l e r a t i o na n d c o m p r e s s i o nm e t h o d s f o r d e e p n e u r a l n e t w o r k s i n i n t e l l i Ｇ

g e n t d e c i s i o n s y s t e m s [J ]．C o mm a n d I n f o r m a t i o nS y s t e ma n dT e c h n o l o g y

,２０１９,１０(２):８Ｇ１３．０㊀引㊀言

近年来,深度神经网络在人工智能领域表现非凡,受到学界和业界的广泛关注,尤其在图像分类㊁语义分割和物体检测等领域中,表现出了出色的特

征提取和表达能力,如N e a g o e 等[１]

提出过一种机器学习方法,可用于航空影像中军用地面车辆识别,为信息决策支持系统的改进提供了可能[

２

].然而,由于深度神经网络的模型复杂㊁计算量大

和延时高等问题,将其应用于智能决策系统的技术