智能决策系统的深度神经网络加速与压缩方法综述

第１０卷㊀第２期㊀２０１９年４月指挥信息系统与技术C o mm a n d I n f o r m a t i o nS y s t e ma n dT e c h n o l o g yV o l ．１０㊀N o ．２A pr ．２０１９ 发展综述d o i :１０．１５９０８/j．c n k i ．c i s t ．２０１９．０２．００２智能决策系统的深度神经网络加速与压缩方法综述∗黄㊀迪㊀刘㊀畅(中国科学院大学计算机科学与技术学院㊀北京１０００４９)摘㊀要:深度神经网络凭借其出色的特征提取能力和表达能力,在图像分类㊁语义分割和物体检测等领域表现出众,对信息决策支持系统的发展产生了重大意义.然而,由于模型存储不易和计算延迟高等问题,深度神经网络较难在信息决策支持系统中得到应用.综述了深度神经网络中低秩分解㊁网络剪枝㊁量化㊁知识蒸馏等加速与压缩方法.这些方法能够在保证准确率的情况下减小深度神经网络模型㊁加快模型计算,为深度神经网络在信息决策支持系统中的应用提供了思路.关键词:深度神经网络;低秩分解;网络剪枝;量化;知识蒸馏中图分类号:T P ３０１．６㊀㊀文献标识码:A㊀㊀文章编号:１６７４Ｇ９０９X (２０１９)０２Ｇ０００８Ｇ０６R e v i e wo fA c c e l e r a t i o na n dC o m p r e s s i o n M e t h o d s f o rD e e p Ne u r a lN e t w o r k s i n I n t e l l i g e n tD e c i s i o nS ys t e m s HU A N G D i ㊀L I U C h a n g(S c h o o l o fC o m p u t e r S c i e n c e a n dT e c h n o l o g y ,U n i v e r s i t y o fC h i n e s eA c a d e m y o f S c i e n c e s ,B e i j i n g １０００４９,C h i n a )A b s t r a c t :F o r t h e e x c e l l e n t f e a t u r e e x t r a c t i o na b i l i t y a n de x p r e s s i o na b i l i t y ,t h ed e e p n e u r a l n e t Ｇw o r kd o e sw e l l i n t h e f i e l d s o f i m a g e c l a s s i f i c a t i o n ,s e m a n t i c s e g m e n t a t i o na n do b je c t d e t e c t i o n ,e t c ．,a n d i t p l a y s a s i g n if i c a n t r o l eo nt h ed e v e l o p m e n to f t h e i n f o r m a t i o nd e c i s i o ns u p p o r t s y s Ｇt e m s ．H o w e v e r ,f o r t h e d i f f i c u l t y o fm o d e l s t o r a g e a n dh i g hc o m p u t a t i o nd e l a y ,t h e d e e p n e u r a l n e t w o r k i sd i f f i c u l t t ob ea p p l i e d i nt h e i n f o r m a t i o nd e c i s i o ns u p p o r t s ys t e m s ．T h ea c c e l e r a t i o n a n dc o m p r e s s i o n m e t h o d s f o r t h ed e e p n e u r a l n e t w o r k ,i n c l u d i n g l o w Ｇr a n kd e c o m p o s i t i o n ,n e t Ｇw o r k p r u n i n g ,q u a n t i z a t i o n a n dk n o w l e d ge d i s t i l l a t i o n a r e r e v i e w e d ．T h em e t h o d s c a n r e d u c e t h e s i z e o fm o d e l a n d s p e e du p t h e c a l c u l a t i o nu n d e r t h e c o n d i t i o nof e n s u r i ng th e a c c u r a c y ,a n dc a n p r o vi d e t h e i d e a o f t h e a p p l i c a t i o n i n t h e i n f o r m a t i o nd e c i s i o ns u p p o r t s ys t e m s ．K e y w o r d s :d e e p n e u r a ln e t w o r k ;l o w Ｇr a n k d e c o m p o s i t i o n ;n e t w o r k p r u n i n g ;q u a n t i z a t i o n ;k n o w l e d ge d i s t i l l a t i o n ㊀❋基金项目:装备发展部 十三五 预研课题(３１５１１０９０４０２)资助项目.收稿日期:２０１８Ｇ１１Ｇ２６引用格式:黄迪,刘畅．智能决策系统的深度神经网络加速与压缩方法综述[J ]．指挥信息系统与技术,２０１９,１０(２):８Ｇ１３．HU A N GD i ,L I U C h a n g ．R e v i e wo f a c c e l e r a t i o na n d c o m p r e s s i o nm e t h o d s f o r d e e p n e u r a l n e t w o r k s i n i n t e l l i Ｇg e n t d e c i s i o n s y s t e m s [J ]．C o mm a n d I n f o r m a t i o nS y s t e ma n dT e c h n o l o g y,２０１９,１０(２):８Ｇ１３．０㊀引㊀言近年来,深度神经网络在人工智能领域表现非凡,受到学界和业界的广泛关注,尤其在图像分类㊁语义分割和物体检测等领域中,表现出了出色的特征提取和表达能力,如N e a g o e 等[１]提出过一种机器学习方法,可用于航空影像中军用地面车辆识别,为信息决策支持系统的改进提供了可能[２].然而,由于深度神经网络的模型复杂㊁计算量大和延时高等问题,将其应用于智能决策系统的技术尚不成熟.针对这些问题,学者们进行了神经网络压缩与加速方法的研究.本文综述了近年来神经网络压缩与加速领域的文献,为深度神经网络在信息决策支持系统中应用提供了思路.１㊀低秩分解将低秩分解应用于卷积运算已有较长历史.由于神经网络中计算基本来自卷积和全连接计算,对卷积核进行低秩分解也自然成为神经网络压缩的经典方法之一,也在应用上取得了一定成果.虽然由于其自身的局限性,已不再是热门的研究方向,但仍是神经网络压缩的一个重要思路.对于卷积神经网络(C N N),其运算量主要来自卷积层的卷积运算,而典型卷积核是一个４维张量,这些张量中往往存在很多冗余.对于含有全连接层的C N N,全连接层的参数量很大,几乎决定了整个网络模型的大小.而全连接层也可视作一个２维矩阵,同样能够使用低秩分解方法.考虑到上述特点,将卷积核进行低秩分解可用于加速C N N.事实上,将低秩分解运用于卷积计算加速已有较长历史,如由１维小波构成的经典高维离散余弦变换和使用张量积的小波系统.２０１３年,R i g a m o n t等[３]根据字典学习(d i c t i o n a r y l e a r n i n g)这一降维压缩方法,提出可学习㊁可分离的１维卷积核(滤波器).针对C N N的分解主要包括奇异值分解(S V D)㊁C a n o n iＧc a l P o l y a d i c分解(一种经典多元分解)㊁T u c k e r分解㊁T e n s o rT r a i n(张量训练)分解和B l o c kT e r m分解(块分解)等方法.对于一些简单的C N N模型,使用了S V D的加速方法率先取得了进展,如通过S V D获得的卷积核的低秩近似及卷积核聚类[４]等,实现了在分类精度降低１％的情况下,对测试C N N ２倍加速.J a d e r b e r g等[５]使用了２种低秩近似方案,在文本识别任务中准确度未下降情况下可得２．５倍加速,在准确度下降１％的情况下可得４．５倍加速.与前面方法不同,该方法是逐层进行低秩近似,每层参数经过低秩近似滤波器后就会固定下来,上层则根据重建误差标准进行微调.L e b e d e v等[６]延续了张量分解的思路,提出了使用非线性最小二乘法计算C P分解,在３６类文本分类中以１％的准确率下降得到８．５倍C P U加速.T a i等[７]在此基础上提出了一种新的分解方法,改进了C P分解可能得不到最优分解的问题,但仍无法完全解决数值问题,应用于更大更深的模型仍存在问题.２０１６年, K i m等[８]提出了一种全网络压缩方案,并使用T u c k e r分解方法分解核张量,在智能手机上测试A l e x n e t㊁V G GＧS㊁V G GＧ１６和G o o g L e N e t等多种常见网络,在准确度损失很小情况下,得到了更小的模型㊁更快的运行速度和更低的能耗.为了减小全连接层的参数量,实现含有全连接层的C N N模型的大幅度压缩,A l e x a n d e r等[９]提出了全连接层参数的T e n s o rT r a i n分解形式,在保留全连接层功能情况下实现了极深V G G(V e r y D e e p V G G)网络全连接层２０００００倍压缩,完整网络的７倍压缩.到２０１７年,低秩分解在加速压缩神经网络方面的课题研究已不再流行,这是因为:１)矩阵分解方法在过去已发展得很成熟;２)随着V G G和残差网络(R e s N e t)等网络的提出,研究者发现可通过使用小卷积核叠加方式来代替大卷积核,从而起到减少参数量的作用,因此流行网络中大卷积核数量越来越少,大部分网络使用的是３ˑ３甚至１ˑ１的卷积核,而低秩分解方法并不擅长于处理这种小卷积核;３)低秩分解的实现并不简单,需要成本高昂的分解计算.这些因素使得低秩分解在２０１７ ２０１８年的进展相比其他研究方向显得有些停滞,只有少量的相关研究,如将低秩分解应用于循环神经网络(R N N)[１０Ｇ１１].２㊀网络剪枝早期工作中,剪枝主要用于解决过拟合问题,目前则主要用于神经网络的加速和压缩.通过剪枝减掉神经网络中对特征贡献不大的连接,可有效降低网络复杂度,尤其是网络模型的大小,是神经网络压缩的一个重要研究方向.早在１９８９年,L e c u n[１２]提出了偏差权重衰减,即一种最早期的网络剪枝方法.１９９３年,H a s s i b i 等[１３]在此基础上增加了基于手术恢复权重更新的步骤,在准确率和泛化能力上得到了更新.与此相似,S r i n i v a s等[１４]在２０１５年提出了无需数据的神经网络参数剪枝方法.随后,H a n等[１５]以根据神经元连接权值的大小来修剪训练后网络中不重要连接的思想,减少了整个网络的参数和操作总数;在上述研究基础上,又提出了一种综合了剪枝㊁量化和编码的神经网络压缩方法 深度压缩(d e e p c o m p r e sＧs i o n),取得了很好的压缩效果.该方法对单个权重参数进行随机剪枝,但随机剪枝方法对硬件实现非常不友好,硬件常无法很好地支持这种剪枝操作,因而出现了分组进行剪枝的结构化剪枝.在结构化剪枝方法中,H a n[１６]对权重的更新加９第１０卷㊀第２期黄㊀迪,等:智能决策系统的深度神经网络加速与压缩方法综述以类似L１的正则项限制,将权重视作组,将成组的权重规约到０,使大部分权值为０,网络更加稀疏.除了单独使用组稀疏,还可以进行不同稀疏方法的组合.Y o o n等[１７]提出了一种组合(g r o u p)稀疏和单独(e x c l u s i v e)稀疏相结合的结构化稀疏方法,可以得到更紧凑和高效的网络,同时还提升了具有全权重的基础网络的性能,且未牺牲预测准确率.除了结构化剪枝,还有滤波器级别剪枝和梯度剪枝等方法.滤波器级别剪枝,即如果某个滤波器表现较弱,那么该滤波器将被整个丢弃.L u o等[１８]在２０１７年国际计算机视觉大会(I C C V)中提出了使用滤波器级别剪枝的框架T h i n e t,一种能够用于训练和测试过程压缩的高效结构,该结构不改变原网络结构,可适配于所有的深度学习框架.不同于其他的剪枝方法,他们将滤波器剪枝形式化定义为优化问题,通过下一层的统计信息指导当前层.该方法获得了非常好的效果,在V G GＧ１６上能够降低３．３１倍F L O P s和１６．６３倍网络参数,而t o pＧ５准确度下降仅为０．５２％.此外,还有其他工作也应用了滤波器剪枝方法[１９Ｇ２０].以上方法均是对前向计算过程的剪枝,而对于反向传播过程中的梯度也可有剪枝操作,即梯度剪枝.如S u n等[２１]认为,反向传播过程中大的梯度比小的梯度重要,因此可以对小梯度进行剪枝操作.这种方法能够将权重的更新比例降至１％~４％,且不损失原有网络的训练精度.综上,剪枝操作既可应用于推理过程,也可应用于训练和微调,通过对冗余的连接进行删除得到更小的神经网络模型.目前,剪枝方法已成为神经网络压缩的一个主流研究和应用方向.３㊀量㊀化神经网络的量化是一种通过在神经网络的存储㊁推理或反向传播过程中将数据用低比特位宽表示,从而有效压缩模型大小并加速计算速度的方法.例如, C o u r b a r i a u x等[２２]在２０１５年尝试使用低精度乘法器进行神经网络运算,并指出,深度神经网络主要包括卷积和矩阵乘法,人工神经元本质上是乘法累加器,而降低乘法器的精度有助于加速运算.其试验结果表明,使用半精度进行运算不影响网络精度.２０１６年,H u b a r a等[２３]指出对神经网络进行量化的方法将在低功耗设备,如移动设备中广泛应用.在神经网络量化方面,G u p t a等[２４]指出使用随机舍入的１６位定点数足够训练已有的神经网络,并且根据该算法设计了一个效率更高的硬件加速器.C o u r b a r i a u x等[２５]发现在将权重量化为二值(ʃ１)后,仍可使神经网络在MN I S T(一种手写数字识别数据集)㊁C I F A RＧ１０(一种小型图像分类数据集)及S V H N(一种用于识别真实世界数字的数据集)数据集上保持较高准确率,但小数据集的说服力不强.旷视科技的Z h o u等[２６]提出的D o R e F aＧN e t可对A l e x N e t进行量化,使用１b i t权值㊁２b i t激活和６b i t梯度训练出４６．１％的准确率.除了尝试最低位宽外,很多学者也在探寻量化模型精度下降的原因并尝试解决该问题.L i n等[２７]认为量化导致精度下降的原因是推理时激活函数精度不够以及反传时梯度不匹配,并根据该论断提出３种可能的解决方案:１)低精度权值和高精度输入;２)仅对网络的高层进行微调;３)每次只量化网络中的一个层,逐渐微调.同时,在文献[２８]中指出神经网络每层的最优位宽不同,因此不应全部设置为同样的位宽,并提出了设置最优位宽的方法.在C I F A RＧ１０数据集上的试验结果显示,每层均使用最优位宽可在保持精度不下降的情况下使模型减小２０％.实际上,如坚持使用低位宽定点数进行量化,很难在压缩模型的同时保证模型精度.因此,有学者提出了定点数和浮点数之外的数据格式,尝试使用混合精度方法对神经网络进行量化.英伟达的Kös t e r等[２９]将定点数和浮点数的优点相结合,提出了F l e xＧp o i n t数据格式.F l e xＧp o i n t特点是通过对张量中整数值使用共享指数,降低了对硬件的内存和带宽要求,同时在一定程度上确保了数据精度.文中还提供了自动管理每个张量指数的算法,以避免数据上溢或下溢等问题.除了精度问题,神经网络量化还可能改变超参甚至引入超参,导致网络的调试工作变得更加复杂.针对这一点,N a r a n g等[３０]提出了混合精度训练方法,通过半精度浮点数来训练深度神经网络,将权重㊁激活和梯度以I E E E半精度格式存储,但在训练过程中保存权值的单精度副本用于更新.这种方法不仅不会损失模型精度,而且无需修改超参.此外,半精度浮点数除了能够加速运算,还能减少近一半的内存和带宽需求.深度神经网络庞大的计算量也是训练过程中重要问题之一,很多时候需对神经网络模型进行分布式训练.因此,如何对分布式训练过程进行量化对神经网络训练的加速同样具有深远意义.W e n０１指挥信息系统与技术２０１９年４月㊀等[３１]提出了一种３b i t的梯度量化方法 T e r n G r a d.T e r nG r a d可大大减少通信时间,从而解决用于同步梯度和参数的高网络通信成本的瓶颈问题.理论上,三元梯度至少可将机器对服务器的流量减少２０．１８倍.即使使用２b i t来编码一个三元梯度,缩减因子仍能达到１６倍.试验表明,在A l e x N e t上应用T e r n G r a d不会导致任何精度损失,甚至可提高精度.此外,由T e r n G r a d引起的G o o g L e N e t的准确度损失平均低于２％.上述均为均匀量化方法,然而,为了符合硬件特性或数据分布情况,有时需对模型进行非均匀量化.如Z h o u等[３２]提出的增量网络量化(I N Q)方法,就是为了符合硬件特性,对权值进行指数型非均匀量化.由于考虑了权值数据长尾分布的特性,I N Q量化训练取得了不俗的效果.４㊀知识蒸馏知识蒸馏指将已训练好的复杂神经网络模型中的知识转移到一个较小的神经网络上,即在保持精度不变情况下从复杂神经网络中提取出一个缩小模型.其中,复杂神经网络称为教师网络(T e a c h e r N e t w o r k),而简单神经网络则称为学生网络(S t u d e n tN e t w o r k).通过知识转移对模型进行压缩的想法最早由B u c i l a等[３３]提出,并经过H i nＧt o n[３４]改进后成为一种较成熟的压缩方法.H i n t o n 注意到大部分神经网络会在最后通过S o f t m a x层为不同标签分配概率,概率中隐含标签间的关系.他希望通过超参 温度T调节教师网络中S o f tＧm a x的平滑程度,由此将标签间隐含的关系放大,并作为先验概率输入学生网络,从而提升学生网络的准确率.之后,Y i m等[３５]指出知识蒸馏的优点:相比同规模的网络,学生网络训练快㊁表现好,且能使用不同任务的教师网络进行训练.２０１５年,R o m e r o[３６]提出了一种更窄且更深的网络 F i t N e t s.更窄是为了减少计算量,更深是因为V G G和G o o g L e N e t等网络表明,层数越深,表现越好.为了使网络更窄且不影响精度,该网络借鉴了知识蒸馏的思想,使用额外的教师网络来辅助训练.为了改进知识蒸馏方法,Z a g o r u y k o等[３７]引入注意力机制,通过让学生网络对教师网络的注意力图(a t t e n t i o nm a p)进行学习,进一步提高学生网络的准确率.F u k u d a等[３８]则提出了３种将多个教师网络结合训练的方法:将多个教师网络进行加权平均;训练时每个训练批次(b a t c h)随机选择不同的教师网络;使用多个教师网络扩增并重新标注数据,轮流训练.尽管知识蒸馏在图像分类上效果很好,但在其他领域由于多种原因无法应用.C h e n等[３９]克服了物体检测中的回归㊁候选区域和标签少的问题,将知识蒸馏方法成功应用于物体检测领域.W e i等[４０]将知识蒸馏和量化结合,先训练一个量化后教师网络,再使用教师网络训练一个量化后学生网络,并将该方法应用于物体检测领域.物体检测和语义分割均可应用于军事相关领域,如K h a s h m a n[４１]早在２００１年就提出,可使用神经网络和尺度空间分析相结合的方法来进行军事目标的自动检测.知识蒸馏方法因对知识的定义及如何度量教师网络和学生网络间的相似度等问题,自提出后未受到特别广泛的关注,但对于模型压缩领域尚有研究价值.５㊀结束语在智能决策系统使用机器学习方法时,常有存储空间㊁计算时间和能耗上的限制.如在军事智能决策中常应用的识别和跟踪系统,一般需确保其占用存储空间小㊁能耗小且适应实时性需求.在某些军事应用中,不能确保网络的实时连接,故此时这些计算和存储工作需在设备上进行,对上述要求将更加严格.使用本文所述神经网络压缩方法可大大减小神经网络模型占用的空间,并降低计算需求,缩短在设备上的计算时间,在无法连接云端服务器情况下也能确保设备的正常使用.自２０１５年来,神经网络的加速与压缩方面的研究发展迅速,上述低秩分解㊁剪枝㊁量化和知识蒸馏是其中较重要的４类方法.近２年以剪枝和量化研究更为主流,在２０１７ ２０１８年的智能国际顶级会议中,剪枝方法和量化方法均有超过３０篇研究论文;而低秩分解和知识蒸馏方法,则因前文所述的一些局限性,相关研究较少,发展较缓慢.这些方法仍有一定的局限性,如目前的加速和压缩方法常常需要微调(f i n eＧt u n e)的过程,这就会在实际应用中产生一些限制,因此,无需f i n eＧt u n e 的加速压缩方法是未来的一个重要研究方向.此外,加速压缩过程中常需要多种超参数,对于这些超参数常需经验性判断与调整,未来对超参数的自动调整甚至无需超参数的加速压缩方法也是重要的研究方向.对于神经网络的加速和压缩,不仅要求算１１第１０卷㊀第２期黄㊀迪,等:智能决策系统的深度神经网络加速与压缩方法综述法上的创新和优化,与硬件的交流与配合同样重要.未来相关研究中,算法与硬件将是不可分割的.参考文献(R e f e r e n c e s):[１]㊀N E A G O EVE,C A R A T ASV,C I O T E CA D．A n a dＧv a n c e d n e u r a l n e t w o r kＧb a s e d a p p r o a c h f o r m i l i t a r yg r o u n d v e h i c l e r e c o g n i t i o n i n S A R a e r i a li m a g e r y:A F A S E S２０１６[R]．[S．l．]:S c i e n t i f i c R e s e a r c ha n dE d u c a t i o n i n t h eA i rF o r c e,２０１６．[２]㊀张晓海,操新文．基于深度学习的军事智能决策支持系统[J]．指挥控制与仿真,２０１８,４０(２):１Ｇ６．[３]㊀R I G AMO N T I R,S I R O N I A,L E P E T I T V,e t a l．L e a r n i n g s e p a r a b l e f i l t e r s[C]//P r o c e e d i n g s o f t h e２０１３I E E E C o n f e r e n c e o n C o m p u t e r V i s i o n a n d P a t t e r nR e c o g n i t i o n．P o r t l a n d:I E E E,２０１３:２７５４Ｇ２７６１．[４]㊀D E N T O N E,Z A R E M B A W,B R U N AJ,e t a l．E x p l o iＧt i n g l i n e a r s t r u c t u r ew i t h i nc o n v o l u t i o n a l n e t w o r k s f o re f f i c i e n t e v a l u a t i o n[C]//P r o c e e d i n g s o f t h e２７t h I n t e rＧn a t i o n a lC o n f e r e n c eo n N e u r a l I n f o r m a t i o nP r o c e s s i n gS y s t e m s．M o n t r e a l:A C M,２０１４:１２６９Ｇ１２７７．[５]㊀J A D E R B E R G M,V E D A L D I A,Z I S S E R MA N A．S p e e d i n g u p c o n v o l u t i o n a ln e u r a ln e t w o r k s w i t hl o wr a n ke x p a n s i o n s[E B/O L]．(２０１４Ｇ０５Ｇ１５)[２０１８Ｇ１１Ｇ０５]．h t t p s://a r x i v．o r g/p d f/１４０５．３８６６．p d f．[６]㊀L E B E D E V V,G A N I N Y,R A K HU B A M,e t a l．S p e e d i n gＧu p c o n v o l u t i o n a ln e u r a ln e t w o r k su s i n g f i n eＧt u n e d C PＧd e c o m p o s i t i o n[E B/O L]．(２０１５Ｇ０４Ｇ２４) [２０１８Ｇ１１Ｇ０５]．h t t p s://a r x i v．o r g/p d f/１４１２．６５５３．p d f．[７]㊀C H E N GT,T O N GX,Y I Z,e t a l．C o n v o l u t i o n a l n e u r a l n e t w o r k s w i t h l o wＧr a n k r e g u l a r i z a t i o n[E B/O L]．(２０１５Ｇ１１Ｇ１０)[２０１８Ｇ１１Ｇ０５]．h t t p://a r x i v．o r g/p d f/１５１１．０６０６７v２．p d f．[８]㊀K I M Y D,P A R K E,Y O O S,e ta l．C o m p r e s s i o no fd e e p c o n v o l u t i o n a ln e u r a ln e t w o r k sf o rf a s ta n dl o wp o w e r m o b i l e a p p l i c a t i o n s[E B/O L]．(２０１５Ｇ１２Ｇ２０) [２０１８Ｇ１１Ｇ０５]．h t t p://a r x i v．o r g/p d f/１５１１．０６５３０v１．p d f．[９]㊀N O V I K O V A,P O D O P R I K H I N D,O S O K I N A,e t a l．T e n s o r i z i n g n e u r a ln e t w o r k s[E B/O L]．(２０１５Ｇ１２Ｇ２０) [２０１８Ｇ１１Ｇ０５]．h t t p://a r x i v．o r g/p d f/１５０９．０６５６９v１．p d f．[１０]WA N G P S,C H E N G J．A c c e l e r a t i n g c o n v o l u t i o n a l n e u r a l n e t w o r k s f o rm o b i l e a p p l i c a t i o n s[C]//P r o c e e dＧi n g so ft h e２４t h A C M I n t e r n a t i o n a l C o n f e r e n c e o nM u l t i m e d i a．A m s t e r d a m:A C M,２０１６:５４１Ｇ５４５．[１１]WA N G W Q,S U N Y F,E R I K S S O N B,e ta l．W i d ec o m p r e s s i o n:t e n s o r r i n g n e t s[E B/O L]．(２０１８Ｇ０２Ｇ２５)[２０１８Ｇ１１Ｇ０５]．h t t p s://a r x i v．o r g/p d f/１８０２．０９０５２．p d f．[１２]Y EJM,WA N GLN,L IGX,e t a l．L e a r n i n g c o m p a c t r e c u r r e n t n e u r a ln e t w o r k sw i t hb l o c kＧt e r mt e n s o rd eＧc o m p o s i t i o n[E B/O L]．(２０１８Ｇ０５Ｇ１１)[２０１８Ｇ１１Ｇ０５]．h t t p://a r x i v．o r g/p d f/１７１２．０５１３４．[１３]C U N YL,D E N K E RJS,S O L L ASA．O p t i m a l b r a i nd a m a g e[C]//P r o ce e d i n g s of t h e２n d I n t e r n a t i o n a lC o n f e r e n c e o n N e u r a lI n f o r m a t i o n P r o c e s s i n g S y sＧt e m s．[S．l．]:A C M,１９８９:５９８Ｇ６０５．[１４]HA S S I B I B,S T O R KDG．S e c o n d o r d e r d e r i v a t i v e s f o r n e t w o r k p r u n i n g:o p t i m a l b r a i ns u r g e o n[C]//P r o c e e dＧi n g o fA d v a n c e s i nN e u r a l I n f o r m a t i o nP r o c e s s i n g S y sＧt e m s．[S．l．:s．n．],１９９２:１６４Ｇ１７１．[１５]S R I N I V A SS,B A B U R V．D a t aＧf r e e p a r a m e t e r p r u nＧi n g f o r d e e p n e u r a l n e t w o r k s[E B/O L]．(２０１５Ｇ０７Ｇ２２)[２０１８Ｇ１１Ｇ０５]．h t t p s://a r x i v．o r g/p d f/１５０７．０６１４９．p d f．[１６]HA N S,P O O L J,T R A N J,e t a l．L e a r n i n g b o t h w e i g h t sa n dc o n n e c t i o n sf o re f f i c i e n tn e u r a ln e t w o r k s[C]//P r o c e e d i n g s o f t h e２８t h I n t e r n a t i o n a l C o n f e r e n c eo nN e u r a l I n f o r m a t i o nP r o c e s s i n g S y s t e m s．M o n t r e a l:A C M,２０１５:１１３５Ｇ１１４３．[１７]Y O O NJ,HWA N G SJ．C o m b i n e d g r o u p a n de x c l uＧs i v e s p a r s i t y f o rd e e p n e u r a ln e t w o r k s[C]//P r o c e e dＧi n g so f t h e３４t hI n t e r n a t i o n a lC o n f e r e n c eo n M a c h i n eL e a r n i n g．[S．l．:s．n．],２０１７:３９５８Ｇ３９６６．[１８]L U OJ H,WU JX,L I N W Y．T h i n e t:af i l t e r l e v e l p r u n i n g m e t h o df o rd e e p n e u r a ln e t w o r kc o m p r e s s i o n[C]//P r o c e e d i n g s o f２０１７I E E EI n t e r n a t i o n a lC o n f e rＧe n c e o nC o m p u t e rV i s i o n．[S．l．]:I E E E,２０１７:５０６８Ｇ５０７６．[１９]L I U Z,L IJG,S H E N Z Q,e ta l．L e a r n i n g e f f i c i e n tc o n v o l u t i o n a l n e t w o r k s t h r o u g h n e t w o r k s l i mm i n g[C]//P r o c e e d i n g s o f２０１７I E E EI n t e r n a t i o n a lC o n f e rＧe n c e o nC o m p u t e rV i s i o n．[S．l．]:I E E E,２０１７:２７５５Ｇ２７６３．[２０]H EY H,Z HA N G X Y,S U NJ．C h a n n e l p r u n i n g f o ra c c e l e r a t i n g v e r y d e e p n e u r a ln e t w o r k s[C]//P r o c e e dＧi n g so f２０１７I E E EI n t e r n a t i o n a lC o n f e r e n c eo nC o mＧp u t e rV i s i o n．[S．l．]:I E E E,２０１７:１３９８Ｇ１４０６．[２１]S U N X,R E N XC,MAS M,e t a l．m e P r o p:s p a r s i f i e db ac k p r o p a g a t i o n f o r a c c e l e r a t e dde e p l e a r n i n g w i t h r eＧd u ce d o v e rf i t t i n g[C]//P r o c e e d i ng s o f th e３４t h I n t e r n aＧt i o n a l C o n f e r e n c e o n M a c h i n eL e a r n i n g．[S．l．:s．n．],２０１７:３２９９Ｇ３３０８．[２２]C O U R B A R I A U X M,B E N G I O Y,D A V I DJP．T r a i nＧi n g d e e p n e u r a ln e t w o r k sw i t hl o w p r e c i s i o n m u l t i p l iＧc a t i o n s[E B/O L]．(２０１５Ｇ０９Ｇ２３)[２０１８Ｇ１１Ｇ０５]．h t t p://a r x i v．o r g/p d f/１４１２．７０２４．p d f．[２３]HU B A R AI,C O U R B A R I A U X M,S O U D R Y D,e t a l．２１指挥信息系统与技术２０１９年４月㊀Q u a n t i z e dn e u r a ln e t w o r k s:t r a i n i n g n e u r a ln e t w o r k s w i t h l o w p r e c i s i o n w e i g h t sa n da c t i v a t i o n s[E B/O L]．(２０１６Ｇ０９Ｇ２２)[２０１８Ｇ１１Ｇ０５]．h t t p s://a r x i v．o r g/p d f/１６０９．０７０６１．p d f．[２４]G U P T AS,A G R AWA L A,G O P A L A K R I S HN A N K,e t a l．D e e p l e a r n i n g w i t hl i m i t e dn u m e r i c a l p r e c i s i o n[E B/O L]．(２０１６Ｇ０９Ｇ２２)[２０１８Ｇ１１Ｇ０５]．h t t p://w w w．a r x i v．o r g/p d f/１５０２．０２５５１．p d f．[２５]C O U R B A R I A U X M,B E N G I O Y,D A V I DJP．B i n aＧr y C o n n e c t:t r a i n i n g d e e p n e u r a ln e t w o r k s w i t hb i n a r yw e i g h t sd u r i n gp r o p a g a t i o n s[C]//P r o c e e d i n g so ft h e ２８t hI n t e r n a t i o n a lC o n f e r e n c eo n N e u r a lI n f o r m a t i o n P r o c e s s i n g S y s t e m s．M o n t r e a l:A C M,２０１５:３１２３Ｇ３１３１．[２６]Z HO U S C,WU Y X,N IZ K,e ta l．D o R e F aＧN e t: t r a i n i n g l o w b i t w i d t h c o n v o l u t i o n a ln e u r a ln e t w o r k s w i t h l o w b i t w i d t h g r a d i e n t s[E B/O L]．(２０１８Ｇ０２Ｇ０２) [２０１８Ｇ１１Ｇ０５]．h t t p s://a r x i v．o r g/p d f/１６０６．０６１６０．p d f．[２７]L I N D D,T A L A T H ISS．O v e r c o m i n g c h a l l e n g e s i nf i x e d p o i n tt r a i n i ng o f d e e p c o n v o l u t i o n a ln e t w o r k s[E B/O L]．(２０１６Ｇ０７Ｇ０８)[２０１８Ｇ１１Ｇ０５]．h t t p s://a r xＧi v．o r g/p d f/１６０７．０２２４１．p d f．[２８]L I N D D,T A L A T H IS S,A N N A P U R E D D Y V S．F i x e d p o i n t q u a n t i z a t i o n o f d e e p c o n v o l u t i o n a ln e tＧw o r k s[C]//P r o c e e d i n g s o f t h e３３r d I n t e r n a t i o n a l C o nＧf e r e n c eo n M a c h i n e L e a r n i n g．[S．l．:s．n．],２０１６:２８４９Ｇ２８５８．[２９]KÖS T E R U,W E B B TJ,WA N G X,e t a l．F l e x p o i n t:a na d a p t i v en u m e r i c a l f o r m a tf o re f f i c i e n tt r a i n i n g o fd e e p n e u r a l n e t w o r k s[E B/O L]．(２０１７Ｇ１２Ｇ０２)[２０１８Ｇ１１Ｇ０５]．h t t p s://a r x i v．o r g/p d f/１７１１．０２２１３．p d f．[３０]N A R A N G S,M I C I K E V I C I U S P,A L B E N J,e ta l．M i x e d p r e c i s i o n t r a i n i n g[E B/O L]．(２０１８Ｇ０２Ｇ１５) [２０１８Ｇ１１Ｇ０５]．h t t p://a r x i v．o r g/p d f/１７１０．０３７４０．p d f．[３１]W E N W,X U C,Y A NF,e t a l．T e r n G r a d:t e r n a r yg r aＧd ie n t st o r e d u c e c o mm u n i c a t i o ni n d i s t r i b u t e d d e e pl e a r n i n g[E B/O L]．(２０１７Ｇ１２Ｇ２９)[２０１８Ｇ１１Ｇ０５]．h tＧt p s://a r x i v．o r g/p d f/１７０５．０７８７８．p d f．[３２]Z HO U AJ,Y A O A B,G U O Y W,e t a l．I n c r e m e n t a l n e t w o r k q u a n t i z a t i o n:t o w a r d s l o s s l e s sC N N sw i t h l o wＧp r e c i s i o n w e i g h t s[E B/O L]．(２０１７Ｇ０８Ｇ２５)[２０１８Ｇ１１Ｇ０５]．h t t p s://a r x i v．o r g/p d f/１７０２．０３０４４．p d f．[３３]B U C I L A C,C A R U A N A R,N I C U L E S C UＧM I Z I L A．M o d e l c o m p r e s s i o n[C]//P r o c e e d i n g s o f t h e１２t hA C MS I G K D DI n t e r n a t i o n a lC o n f e r e n c eo n K n o w l e d g eD i sＧc o v e r y a nd D a t a M i n i n g．P h i l a de l p h i a:A C M,２００６:５３５Ｇ５４１．[３４]H I N T O N G,V I N Y A L S O,D E A N J．D i s t i l l i n g t h e k n o w l e d g e i nan e u r a ln e t w o r k[E B/O L]．(２０１５Ｇ０３Ｇ０９)[２０１８Ｇ１１Ｇ０５]．h t t p s://a r x i v．o r g/p d f/１５０３．０２５３１．p d f．[３５]Y I M J,J O O D,B A EJ,e t a l．A g i f t f r o m k n o w l e d g ed i s t i l l a t i o n:f a s t o p t i m i z a t i o n,ne t w o r k m i n i m i z a t i o na n dt r a n s f e r l e a r n i n g[C]//P r o c e e d i n g so f２０１７I E E EC o n f e r e n c e o nC o m p u t e rV i s i o na n dP a t t e r nR e c o g n iＧt i o n．H o n o l u l u:I E E E,２０１７:７１３０Ｇ７１３８．[３６]R OM E R O A,B A L L A S N,K A HO U SE,e ta l．F i tＧN e t s:h i n t s f o r t h i nd e e p n e t s[E B/O L]．(２０１５Ｇ０３Ｇ２７) [２０１８Ｇ１１Ｇ０５]．h t t p s://a r x i v．o r g/p d f/１４１２．６５５０．p d f．[３７]Z A G O R U Y K OS,K OMO D A K I S N．P a y i n g m o r ea tＧt e n t i o n t o a t t e n t i o n:i m p r o v i n g t h e p e r f o r m a n c e o f c o nＧv o l u t i o n a l n e u r a ln e t w o r k sv i aa t t e n t i o nt r a n s f e r[E B/O L]．(２０１７Ｇ０２Ｇ１２)[２０１８Ｇ１１Ｇ０５]．h t t p s://a r x i v．o r g/ p d f/１６１２．０３９２８．p d f．[３８]F U K U D A T,S U Z U K I M,K U R A T A G,e ta l．E f f iＧc i e n t k n o w l ed ge d i s t i l l a t i o nf r o ma n e n s e m b l e o f t e a c hＧe r s[C]//P r o c e e d i n g so fI n t e r s p e e c h．[S．l．:s．n．],２０１７:３６９７Ｇ３７０１．[３９]C H E N GB,C HO IW,Y U X,e t a l．L e a r n i n g e f f i c i e n t o b j e c t d e t e c t i o n m o d e l s w i t h k n o w l e d g e d i s t i l l a t i o n[C]//P r o c e e d i n g s o f t h e３１s t I n t e r n a t i o n a lC o n f e r e n c eo n N e u r a l I n f o r m a t i o n P r o c e s s i n g S y s t e m s．L o n gB e a c h:AC M,２０１７:７４２Ｇ７５１．[４０]W E IY,P A N X Y,Q I N H W,e ta l．Q u a n t i z a t i o n m i m i c:t o w a r d s v e r y t i n y C N N f o ro b j e c td e t e c t i o n[E B/O L]．(２０１８Ｇ０９Ｇ１３)[２０１８Ｇ１１Ｇ０５]．h t t p s://a r xＧi v．o r g/p d f/１８０５．０２１５２．p d f．[４１]K HA S HMA N A．A u t o m a t i c d e t e c t i o no fm i l i t a r y t a rＧg e t su t i l i s i n g n e u r a l n e t w o r k sa n ds c a l es p a c ea n a l y s i s[R]．N o r t h e r nC y p r u s:N e a rE a s tU n i v e r s i t y,２００１．作者简介:黄㊀迪,男(１９９５ ),硕士研究生,研究方向为计算机体系结构和人工智能.刘㊀畅,女(１９９６ ),硕士研究生,研究方向为计算机体系结构和人工智能.(本文编辑:李素华)３１第１０卷㊀第２期黄㊀迪,等:智能决策系统的深度神经网络加速与压缩方法综述。