深度学习与神经网络

CDA数据分析研究院出品，转载需授权

深度学习是机器学习的一个子领域，研究的算法灵感来自于大脑的结构和功能，称为人工神经网络。

如果你现在刚刚开始进入深度学习领域，或者你曾经有过一些神经网络的经验，你可能会感到困惑。因为我知道我刚开始的时候有很多的困惑，我的许多同事和朋友也是这样。因为他们在20世纪90年代和21世纪初就已经学习和使用神经网络了。

该领域的领导者和专家对深度学习的观点都有自己的见解，这些具体而细微的观点为深度学习的内容提供了很多依据。

在这篇文章中，您将通过听取该领域的一系列专家和领导者的意见，来了解什么是深度学习以及它的内容。

来让我们一探究竟吧。

深度学习是一种大型的神经网络

Coursera的Andrew Ng和百度研究的首席科学家正式创立了Google Brain，最终导致了大量Google服务中的深度学习技术的产品化。

他已经说了很多关于深度学习的内容并且也写了很多，这是一个很好的开始。

在深度学习的早期讨论中，Andrew描述了传统人工神经网络背景下的深度学习。在2013年的题为“ 深度学习，自学习和无监督特征学习”的演讲中“他将深度学习的理念描述为：

这是我在大脑中模拟的对深度学习的希望：

- 使学习算法更好，更容易使用。

- 在机器学习和人工智能方面取得革命性进展。

我相信这是我们迈向真正人工智能的最好机会

后来他的评论变得更加细致入微了。

Andrew认为的深度学习的核心是我们现在拥有足够快的计算机和足够多的数据来实际训练大型神经网络。在2015年ExtractConf大会上，当他的题目“科学家应该了解深度学习的数据”讨论到为什么现在是深度学习起飞的时候，他评论道：

我们现在拥有的非常大的神经网络......以及我们可以访问的大量数据

他还评论了一个重要的观点，那就是一切都与规模有关。当我们构建更大的神经网络并用越来越多的数据训练它们时，它们的性能会不断提高。这通常与其他在性能上达到稳定水平的机器学习技术不同。

对于大多数旧时代的学习算法来说......性能将达到稳定水平。......深度学习......是第一类算法......是可以扩展的。...当你给它们提供更多的数据时，它的性能会不断提高

他在幻灯片中提供了一个漂亮的卡通片：

最后，他清楚地指出，我们在实践中看到的深度学习的好处来自有监督的学习。从2015年的ExtractConf演讲中，他评论道：

如今的深度学习几乎所有价值都是通过有监督的学习或从有标记的数据中学习

在2014年的早些时候，在接受斯坦福大学的题为“深度学习”的演讲时，他也发出了类似的评论。

深度学习疯狂发展的一个原因是它非常擅长监督学习

Andrew经常提到，我们应该并且会看到更多的好处来自DL的无监督的一面，因为该领域已

经成熟到可以处理大量未标记的数据。

Jeff Dean是Google的系统和基础架构小组的向导和谷歌高级研究员，他参与并可能负责部分Google内部深度学习的扩展和采用。Jeff参与了Google Brain项目以及负责大型深度学习软

件DistBelief和后来的TensorFlow的开发。

在2016年的一次题为“ 构建智能计算机系统的深度学习”的演讲中“他以类似的方式发表评论，深度学习实际上是关于大型神经网络的。

当你听到深度学习这个词的时候，就想想一个巨大的深度神经网络。深度指的是典型的层数，因此这种流行术语在印刷机中被采用。我认为它们通常是深度神经网络。

他已经多次发表过这个演讲，并且在同一个演讲的一组修改过的幻灯片中，他强调了神经网

络的可扩展性，表明随着更多的数据和更大的模型，结果会变得更好，然而这反过来需要更

多的计算来训练模型。

深度学习是层次特征学习

除了可扩展性之外，深度学习模型的另一个经常被引用的好处是它们能够从原始数据中执行

自动特征提取，也称为特征学习。

Yoshua Bengio是深度学习的另一个领导者，尽管他开始对大型神经网络能够实现的自动特征学习产生了浓厚的兴趣。

他描述了使用特征学习发现和学习良好表示的算法能力方面的深度学习。在2012年题为“ 深

度学习无监督和转移学习的表征”的论文中，他评论说：

深度学习算法试图利用输入分布中的未知结构，以便通常在多个级别上发现良好的表示，并

使用较低级别的特征定义更高级别的学习特征

他在2009年的技术报告“ 人工智能学习深层架构”中提供了沿着这些方向深入学习的详细视角，其中他强调了特征学习中层次结构的重要性。

深度学习方法旨在学习具有来自较低级别特征的组成所形成的较高级别的层级的特征的特征

层级。在多个抽象级别上自动学习特性允许系统学习的复杂函数，这些函数直接从数据映射

输入到输出，而不完全依赖于人工创建的特性。

在与Ian Goodfellow和Aaron Courville合着的即将出版的名为“ 深度学习”的书中，他们根据

模型的架构深度来定义深度学习。

概念的层次结构允许计算机通过用简单的概念构建复杂的概念来学习它们。如果我们绘制一

个图表来显示这些概念是如何相互构建的，那么图表很深的，有很多层。出于这个原因，我

们将这种方法称为人工智能深度学习。

这是一本重要的书，有可能在一段时间内成为该领域的权威资源。本书继续描述多层感知器

作为深度学习领域中使用的算法，给出了深度学习已包含在人工神经网络中的观点。

深度学习模型的典型例子是前馈深度网络或多层感知器（MLP）。

彼得·诺维格（Peter Norvig）是谷歌研究部主任，以其题为“ 人工智能：现代方法”的人工智

能教科书而闻名。

在2016年的一次演讲中，他给出了题为“深度学习和可理解性与软件工程和验证的关系”“他

以与Yoshua非常相似的方式定义深度学习，重点关注使用更深层网络结构所允许的抽象力量。

这是一种学习，你形成的表示有多个抽象层次，而不是直接输入到输出

为什么称它为“深度学习”？而不只是称它为“人工神经网络”？

Geoffrey Hinton是人工神经网络领域的先驱，共同发表了关于训练多层感知器网络的反向传

播算法的第一篇论文。

他可能已经开始引入“ 深度” 这个短语来描述大型人工神经网络的发展。

他在2006年共同撰写了一篇题为“ 深度信念网的快速学习算法”的论文，其中描述了一种受

训练限制的玻尔兹曼机器的“深度”（就像一个多层网络一样）的方法。

使用互补先验，我们推导出一种快速，贪婪的算法，可以一次一层地学习深层定向信念网络，前提是前两层形成一个无向联想记忆。

本文和Geoff 在无向深度网络上共同撰写的题为“ 深度玻尔兹曼机” 的相关论文得到了社区的

好评（现已引用数百次），因为它们是贪婪的分层网络训练的成功范例，允许前馈网络中有

更多的层。

在《科学》杂志上发表的一篇题为“用神经网络降低数据的维度”的合著文章中，他们坚持使

用相同的“深度”描述来描述他们开发网络的方法，这些网络的层数比以前典型的网络要多的多。

我们描述了一种初始化权重的有效方法，它允许深度自动编码器网络学习低维度代码，作为

一种降低数据维度的工具，这种低维度代码比主成分分析工作的更好。

在同一篇文章中，他们发表了一篇有趣的评论，与Andrew Ng关于最近计算能力的提高以及

对大型数据集的访问的评论相吻合，这些数据集在大规模使用时释放了神经网络尚未开发的

能力。