深度神经网络带来的影响

深度神经网络带来的影响

人工智能近几年实现了爆炸式发展，深度学习可以说是其主要的推动力。

在计算机视觉领域，大部分的问题都已经开始使用深度神经网络进行解决，也确实取得了广泛的成功。在很多视觉任务中，如图像识别、语义分割、目标检测与跟踪、图像检索等，作为提取特征的CNN网络模型往往起到了关键的作用。我们经常见到最新的方法将基础网络换一下，性能就会得到很大的提升。因此，研究并设计一个更好的网络模型变得至关重要。

基础网络模型的结构样例最新研究进展经典的神经网络模型主要在宽度与深度方面进行不同程度的扩增。借助于大规模数据的训练，AlexNet、VGG-16、VGG-19等经典网络通过宽度或深度增加的参数可以有效地提升其模型的表达能力。但当网络变得越来越深，其训练难度也随之相应增加，反而会导致性能的下降。最近的ResNet和Highway Networks 等方法通过引入Skip跳跃结构来试图解决极深网络在优化上带来的问题。

ResNet和Highway Networks结构的简单示意图

最新的一些研究尝试从其他角度来解释Highway、ResNet和GoogLeNet等网络结构表现优异的原因。其中我在微软实习的导师王井东研究员、实习生魏祯和张婷以及曾文君研究员提出Deep Fusion （Jingdong Wang，Zhen Wei，TIng Zhang，Wenjun Zeng：Deeply-Fused Nets. CoRR abs/1605.07716 （2016））深度融合的概念，认为不同分支的网络在中间层进行融合（加和或拼接等方式）能够（1）产生很多潜在的共享参数的基础网络，（2）同时优化信息的流动，（3）从而帮助深层网络的训练过程。

Deep Fusion深度融合最简单形式的概念示意图

我们可以发现很多有代表性的网络结构基本都可以按照深度融合的概念进行理解。除去LeNet、AlexNet、VGGNet等单分支网络，近两年提出的ResNet、Highway Networks、