“深度学习“学习笔记

摘要：人工智能的飞跃发展得益于深度学习理论的突破以及移动互联网创造的大数据。本文梳理了人工智能、机器学习、深度学习的概念以及发展历程；介绍了深度学习基本理论、训练方法、常用模型、应用领域。

关键词：

机器学习、人工神经网路、深度学习、语音识别、计算机视觉

1.概述

2017年5月27日，围棋世界冠军柯洁与Google围棋人工智能AlphaGo的第三场对弈落下帷幕。在这场人机大战中，世界围棋第一人0:3完败于围棋人工智能。人工智能以气势如虹的姿态出现在我们人类的面前。人工智能AI（Artificial Intelligence）从此前的学术研究领域全面进入大众视野。整个业界普遍认为，它很可能带来下一次科技革命，并且，在未来可预见的10多年里，深刻得改变我们的生活。

、人工智能、机器学习、深度学习

什么是人工智能人工智能是研究使计算机来模拟人的某些思维过程和智能行为（如学习、推理、思考、规划等）的学科。该领域的研究包括机器人、语言识别、图像识别、自然语言处理和专家系统等。上世纪50年代人工智能的理念首次提出，科学家们不断在探索、研究，但是人工智能的发展就磕磕碰碰。人工智能的发展经历了若干阶段，从早期的

逻辑推理，到中期的专家系统，直到上世纪80年代机器学习诞生以后，人工智能研究终于找对了方向。

机器学习是一种能够赋予机器学习的能力以此让它完成直接编程无法完成的功能的方法。但从实践的意义上来说，机器学习是一种通过利用数据，训练出模型，然后使用模型对真实世界中的事件作出决策与预测的一种方法。基于机器学习的图像识别和语音识别得到重大发展。人工神经网络（Artificial Neural Networks）成为机器学习中的一个重要的算法，其中反向传播算法（Back Propagation）是最常用的ANN学习技术。基于BP算法的人工神经网路，主要问题是训练困难、需要大量计算，而神经网络算法的运算需求难以得到满足。进入90年代，神经网络的发展进入了一个瓶颈期。其主要原因是尽管有BP算法的加速，神经网络的训练过程仍然很困难。因此90年代后期支持向量机(SVM)算法取代了神经网络的地位。【SVM是个分类器，通过“核函数”将低维的空间映射到高维的空间，将样本从原始空间映射到一个更高维的特质空间中，使得样本在这个新的高维空间中可以被线性划分为两类，再将分割的超凭你们映射回低维空间。】

2006年，加拿大多伦多大学教授、机器学习领域的泰斗Geoffrey Hinton在《科学》上发表了一篇文章，开启了深度学习在学术界和工业界的浪潮。这篇文章有两个主要观点：1、多隐层的人工神经网络具有优异的特征学习能力，学习得到的特征对数据有更本质的刻画，从而有利于可视化或分类；2、深度神经网络在训练上的难度，可以通过“逐层初始化”（layer-wise pre-training）来有效克服，在这篇文章中，逐层

初始化是通过无监督学习实现的。深度学习使得机器学习能够实现众多的应用，并拓展了人工智能的领域范围。深度学习在语音识别和图像识别等领域获得了巨大的成功因此极有可能是真正实现人工智能梦想的关键技术。

人工智能、机器学习（Machine Learning）和深度学习（Deep Learning）之间的关系，如图1所示。人工智能是机器学习的父类。深度学习则是机器学习的子类。

图 1 人工智能、机器学习、深度学习关系

2.人工神经网络

人工神经网络（ANN）受到生物学的启发是生物神经网络的一种模拟和近似，它从结构、实现机理和功能上模拟生物神经网络。从系统观点看，人工神经元网络是由大量神经元通过极其丰富和完善的连接而构成的自适应非线性动态系统。

图 2 单个神经元

图 3人工神经网路

、 BP算法

BP (Back Propagation)神经网络，即误差反传误差反向传播算法的学习过程，由信息的正向传播和误差的反向传播两个过程组成。输入

层各神经元负责接收来自外界的输入信息，并传递给中间层各神经元；中间层是内部信息处理层，负责信息变换，根据信息变化能力的需求，中间层可以设计为单隐层或者多隐层结构；最后一个隐层传递到输出层各神经元的信息，经进一步处理后，完成一次学习的正向传播处理过程，由输出层向外界输出信息处理结果。当实际输出与期望输出不符时，进入误差的反向传播阶段。误差通过输出层，按误差梯度下降【求取偏导数】的方式修正各层权值，向隐层、输入层逐层反传。周而复始的信息正向传播和误差反向传播过程，是各层权值不断调整的过程，也是神经网络学习训练的过程，此过程一直进行到网络输出的误差减少到可以接受的程度，或者预先设定的学习次数为止

、BP算法存在的问题

（1）、收敛速度慢，梯度越来越稀疏【梯度扩散】：从顶层越往下，误差校正信号越来越小。

（2）、收敛到局部最小值，可能导致训练失败：尤其是从远离最优区域开始的时候（随机值初始化会导致这种情况的发生）。

（3）、一般我们只能用有标签的数据来训练：但大部分的数据是没标签的，而大脑可以从没有标签的数据中学习。

在实际应用中，BP人工神经网路通常是只含有一个隐层的浅层模型。浅层学习是机器学习的第一次浪潮。

3.深度学习（Deep Learning）

3．1、基本思想

深度学习是机器学习的第二次浪潮。深度学习的实质，是通过构建具有很多隐层的机器学习模型和海量的训练数据，来学习更有用的特征，从而最终提升分类或预测的准确性。因此，“深度模型”是手段，“特征学习”是目的。区别于传统的浅层学习，深度学习的不同在于：1）强调了模型结构的深度，通常有5层、6层，甚至10层以上的隐层节点；2）明确突出了特征学习的重要性，也就是说，通过逐层特征变换，将样本在原空间的特征表示变换到一个新特征空间，从而使分类或预测更加容易。

假设我们有一个系统S，它有n层（S1,…Sn），它的输入是I，输出是O，形象地表示为：I =>S1=>S2=>… =>Sn => O，如果输出O等于输入I，这意味着输入I经过每一层Si都没有任何的信息损失，即在任何一层Si，它都是原有信息（即输入I）的另外一种表示。深度学习需要自动地学习特征，假设我们有一堆输入I（如一堆图像或者文本），假设我们设计了一个系统S（有n层），我们通过调整系统中参数，使得它的输出仍然是输入I，那么我们就可以自动地获取得到输入I的一系列层次特征，即S1，…, Sn。通过这种方式，就可以实现对输入信息进行分级表达了。

图 4 浅层模型与深度学习模型