深度学习发展综述

总第274期舰船电子工程V0. 37N〇. 4 2017年第 4 期S'pE lectronicEngineering 5

深度学习发展综述

侯宇青阳全吉成王宏伟

(中国人民解放军空军航空大学长春130000)

摘要鉴于深度学习的研究和应用价值及在学术和工业领域中的重要地位，对目前有代表性的主流的深度学习网 络模型进行介绍，概述了深度学习当前发展状态，综述了深度学习发展方向。首先介绍了深度学习的历史沿革，根据应用研 究对四种主要深度学习网络进行介绍，然后从网络性能提升、网络体系发展、新学习模式探索、深度强化学习、可视化理论研 究五个方面总结了目前深度学习的发展状态,最后提出下一步深度学习发展展望。可以看到：深度学习在不同领域都有广 泛的应用，而且具有明显的优势，但也存在需要进一步深人探索的问题，如提高深度学习的智能性、提高无标签数据的利用 率等。

关键词深度学习；卷积神经网络；半监督学习；深度强化学习；人工智能

中图分类号TP18 DO# 10. 3969/j. issa 1672-9730. 2017. 04. 002

Review of Deep Learning Development

HOUYuqingyang QUAN Jicheng WANG H ongwei

(The Aviation University of Airforce, Changchun 130000)

Abstract Considering deep learning，s value of researching and applying and the importance in academic and industry ar­

ea ，this paper reviews the main stream deep learning network models and gives theirs introduction. F irs learning is introduced. According to applying research，four deep learning network of the main streams are introduced. Sec­ond ，the developing state of current deep learning is summarizedfrom five aspects which ment ，net system development，the new learning model to explore , deep reinforce learning and visualization theory research, Last，development prospect of deep learning comes up. Although deep learning outperform other methods abviously in differ­ent fields，there are still some issues needed to be solved，such as intelligence of deep learning improvement , raising the u tili­zation ratio of data without labels.

Key Words deep learning , convolution neural network，semi-supervised learning , deep reinforce learning , artificial in­telligence

Class Number TP18

1引言

2006年，深度学习泰斗Hinton[1]提出无监督 深度置信网络的训练方法，2013年深度学习位列 10大突破性科技之首，到2016年3月，Alpha-GO(]打败人类围棋大师。这十年间深度学习不断 发展创新，研究价值和应用潜力不断被挖掘发现。近年来深度学习取得惊人进展，从模型、算法，到大 规模的应用都取得了令人瞩目的成果。深度学习的出现是机器学习的一次重要革命，是人工智能发 展巨大推力。人工智能是终极目标，机器学习是实 现人工智能的一种分支，深度学习隶属于人工神经 网络体系，人工神经网络是基于统计的机器学习方 法，相比于基于人工规则的专家系统，表现优异。传统的神经网络是一种浅层机器学习，深度学习是 传统神经网络发展下的新一代神经网络。深度学 习是通过建立、模拟人脑的信息处理神经结构来实 现对外部输入的数据进行从低级到高级的特征提

收稿日期2016年10月8日，修回日期：2016年11月29日

作者简介:侯宇青阳，女，硕士研究生，研究方向:控制科学与工程、图像处理、模式识别。全吉成，男，博士研究生，研 究方向：图像处理，人工智能。王宏伟，男，博士研究生，研究方向：图像处理，人工智能，虚拟现实。

6侯宇青阳等:深度学习发展综述总第274期

取，从而能够使机器理解学习数据，获得信息5$本文主要对深度学习的发展进行总结，介绍现 有理论应用成果以及未来的发展方向。

2深度学习历史沿革

萌芽期:从B P算法4的发明（197〇s!1980s)到2006年期间;B P算法使得神经网络训练简单可 行。这段期间因为神经网络模型存在的一系列问 题被主流的计算机视觉和学术界所抛弃，只有少数 科学家仍坚持研究。存在的问题主要有&1)数据 获取的问题。学者们试图利用有监督的方式训练 深度神经网络，但是缺少大量有标签的数据，没有 足够的样本导致无法拟合复杂网络模型的参数，容 易出现过拟合，与当时比较流行的浅层学习方法，如随机森林、支持向量机等，相比，效果不理想，没 有受到关注。2)局部极值问题。训练深度神经网 络时，由于存在非凸优化问题的搜索域中充斥着大 量不好的局部极值，使得梯度下降法效果并不好。

3)梯度弥散问题。这是使得深度神经网络发展缓 慢的主要因素。随着网络的深度增加，反向传播的 梯度的幅度值会急剧地减小，使得其更新变化非常 缓慢，不能对样本进行有效的学习。这种问题被称 为“梯度弥散,4)硬件条件不足。由于深度神经 网络的训练过程，包括反向传播过程以及大量样本 数据的学习压力，对计算机硬件提出很高的要求。随之内存容量扩大、G P U并行计算的发展，为深度 学习发展提供了契机。5)浅层学习方法大放异彩。随机森林、支持向量机、多层感知机算法等的发展 迅速，并在实践中取得很好的效果，也使得深度神 经网络受到冷落。

迅速发展期（2006年！2012年）：主要以深度 无监督学习为主的研究阶段。从2006年Hinton 提出“深度学习”概念和深度学习的训练方法之后 揭开了深度学习发展的帷幕％

爆发期（2012年至今）：2012年Hilton团队的 Alexnet模型[5]在imagenet竞赛中取得惊人成绩。现在各大互联网公司纷纷开始成立研究部门进行 深度学习工程化的研究，以谷歌、微软、百度为代 表，将深度学习广泛应用在语音识别、图像检索、翻 译等领域，取得了非凡的实际效果。

3经典深度学习网络

经过10年的发展历程，深度学习在图像处理、语音识别、文本处理等多领域得到了广泛应用。以卷积神经网络、深度置信网络、栈式自编码网络和递归神经网络为核心的深度学习模型体系逐渐形 成。下面对经典深度学习网络进行介绍。

34卷积神经网络

卷积神经网络(ConvolutionNerual Ns)通过结合局部感知区域、共享权重、空间或时间上的 池化降采样三大特点来充分利用数据本身包含的局 部性等特征，优化网络结构，并且保证一定程度上的 位移的不变性(]。它的权值共享网结构相似于生物 神经网络，降低了网络模型的复杂度，减少了权值的 数量。因为这样的结构特点使其尤其适合大图像数 据的机器学习，可以使数量庞大的图像识别问题不 断降维。CNNs的主要结构包括卷积部分和全连接 部分。卷积部分包括卷积层、激活层、下采样层，通 过卷积部分的叠加提取特征;全连接部分连接特征 提取和输出计算损失和完成识别分类等功能。

CNNs是第一个真正成功地采用多层层次结 构网络的具有鲁棒性的深度学习方法。CN N s适 应 ，据 部 征，CNNs

成为众多科学领域的研究热点之一，在模式识别中 的各个领域得到应用并取得了很好的结果。随着 海量标记数据和G P U并行计算的发展，使得卷积 神 研究大放 。

34深度置信网络

深度置信网络的基本结构单元是受限玻尔兹 曼机（Restricted Boltzmann Machine,RBM)。受 限玻尔玆曼机通过学习数据的概率密度分布提取 抽象特征。深度置信网络通过R B M的叠加，逐层 学习数据概率分布，即提取多种概率特征。DBN 练过程 为无监督 练 。无监督贪婪逐层训练方法获得各层的条件概率分布，微 调阶段包括利用带标签数据和B P算法对网络参 数进行调整。DBN具有高灵活性，容易拓展，不仅 在图像处理、语音识别领域网络预训练中应用广 泛，也是构建新型深度学习网络的结构基础。

34栈式自编码网络"〜9#

栈式自编码网络的基本单元是自编码器(Au­to-encoder，AE)。自编码器包括编码层和解码层，通过编码-解码的方式复现输入信号。堆栈式自编 码网络是累加自编码器，通过无监督贪婪逐层训练 得到每层自编码器的权重，在每一层得到了关于输 入数据的另一种表达形式，这些不同的表示就是特 征，在原有的特征基础上加入自动学习到的特征可 以提高学习能力，是深度神经网络预训练的重要方 法之一。