智能决策系统的深度神经网络加速与压缩方法综述
- 1、下载文档前请自行甄别文档内容的完整性,平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益,请联系客服反馈,我们会尽快为您处理(人工客服工作时间:9:00-18:30)。
第10卷㊀第2期㊀2019年4月
指挥信息系统与技术
C o mm a n d I n f o r m a t i o nS y s t e ma n dT e c h n o l o g y
V o l .10㊀N o .2
A p
r .2019 发展综述
d o i :10.15908/j
.c n k i .c i s t .2019.02.002智能决策系统的深度神经网络加速与压缩方法综述∗
黄㊀迪㊀刘㊀畅
(中国科学院大学计算机科学与技术学院㊀北京100049
)摘㊀要:深度神经网络凭借其出色的特征提取能力和表达能力,在图像分类㊁语义分割和物体检测等领域表现出众,对信息决策支持系统的发展产生了重大意义.然而,由于模型存储不易和计算延迟高等问题,深度神经网络较难在信息决策支持系统中得到应用.综述了深度神经网络中低秩分解㊁网络剪枝㊁量化㊁知识蒸馏等加速与压缩方法.这些方法能够在保证准确率的情况下减小深度神经网络模型㊁加快模型计算,为深度神经网络在信息决策支持系统中的应用提供了思路.关键词:深度神经网络;低秩分解;网络剪枝;量化;知识蒸馏
中图分类号:T P 301.6㊀㊀文献标识码:A㊀㊀文章编号:1674G909X (2019)02G0008G06
R e v i e wo fA c c e l e r a t i o na n dC o m p r e s s i o n M e t h o d s f o rD e e p N
e u r a lN e t w o r k s i n I n t e l l i g e n tD e c i s i o nS y
s t e m s HU A N G D i ㊀L I U C h a n g
(S c h o o l o fC o m p u t e r S c i e n c e a n dT e c h n o l o g y ,U n i v e r s i t y o fC h i n e s eA c a d e m y o f S c i e n c e s ,B e i j i n g 1
00049,C h i n a )A b s t r a c t :F o r t h e e x c e l l e n t f e a t u r e e x t r a c t i o na b i l i t y a n de x p r e s s i o na b i l i t y ,t h ed e e p n e u r a l n e t G
w o r kd o e sw e l l i n t h e f i e l d s o f i m a g e c l a s s i f i c a t i o n ,s e m a n t i c s e g m e n t a t i o na n do b j
e c t d e t e c t i o n ,e t c .,a n d i t p l a y s a s i g n i
f i c a n t r o l eo nt h ed e v e l o p m e n to f t h e i n f o r m a t i o nd e c i s i o ns u p p o r t s y s G
t e m s .H o w e v e r ,f o r t h e d i f f i c u l t y o fm o d e l s t o r a g e a n dh i g hc o m p u t a t i o nd e l a y ,t h e d e e p n e u r a l n e t w o r k i sd i f f i c u l t t ob ea p p l i e d i nt h e i n f o r m a t i o nd e c i s i o ns u p p o r t s y
s t e m s .T h ea c c e l e r a t i o n a n dc o m p r e s s i o n m e t h o d s f o r t h ed e e p n e u r a l n e t w o r k ,i n c l u d i n g l o w Gr a n kd e c o m p o s i t i o n ,n e t G
w o r k p r u n i n g ,q u a n t i z a t i o n a n dk n o w l e d g
e d i s t i l l a t i o n a r e r e v i e w e d .T h em e t h o d s c a n r e d u c e t h e s i z e o fm o d e l a n d s p e e du p t h e c a l c u l a t i o nu n d e r t h e c o n d i t i o no
f e n s u r i n
g t
h e a c c u r a c y ,a n dc a n p r o v
i d e t h e i d e a o f t h e a p p l i c a t i o n i n t h e i n f o r m a t i o nd e c i s i o ns u p p o r t s y
s t e m s .K e y w o r d s :d e e p n e u r a ln e t w o r k ;l o w G
r a n k d e c o m p o s i t i o n ;n e t w o r k p r u n i n g ;q u a n t i z a t i o n ;k n o w l e d g
e d i s t i l l a t i o n ㊀❋基金项目:装备发展部 十三五 预研课题(31511090402
)资助项目.收稿日期:2018G11G26
引用格式:黄迪,刘畅.智能决策系统的深度神经网络加速与压缩方法综述[J ].指挥信息系统与技术,2019,10(2):8G13.
HU A N GD i ,L I U C h a n g .R e v i e wo f a c c e l e r a t i o na n d c o m p r e s s i o nm e t h o d s f o r d e e p n e u r a l n e t w o r k s i n i n t e l l i G
g e n t d e c i s i o n s y s t e m s [J ].C o mm a n d I n f o r m a t i o nS y s t e ma n dT e c h n o l o g y
,2019,10(2):8G13.0㊀引㊀言
近年来,深度神经网络在人工智能领域表现非凡,受到学界和业界的广泛关注,尤其在图像分类㊁语义分割和物体检测等领域中,表现出了出色的特
征提取和表达能力,如N e a g o e 等[1]
提出过一种机器学习方法,可用于航空影像中军用地面车辆识别,为信息决策支持系统的改进提供了可能[
2
].然而,由于深度神经网络的模型复杂㊁计算量大
和延时高等问题,将其应用于智能决策系统的技术