2016年-神经网络与深度学习简介(1)
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
提供的目标值和当前权重的值。
5 /33
Reliability Research Group
举例
BP（Back Propagation）神经网络
BP神经网络是一种多层的前馈神经网络，其 主要的特点是：信号是前向传播的，而误差是反 向传播的。具体来说，对于如下的只含一个隐层 的神经网络模型：
BP神经网络的过程主要分为两 个阶段，第一阶段是信号的前 向传播，从输入层经过隐含层， 最后到达输出层；第二阶段是 误差的反向传播，从输出层到 隐含层，最后到输入层，依次 调节隐含层到输出层的权重和 偏置，输入层到隐含层的权重 和偏置。
函数。形式为：
7 /33
Reliability Research Group
BP神经网络
2、隐含层的输出 如上面的三层BP网络所示，隐含层的输出
为
3、输出层的输出
4、误差的计算 我们取误差公式为：
其中 为期望输出。我们记 ，则 可以表示为
5、权值的更新
权值的更新公式为：
6、偏置的更新
偏置的更新公式为：
3 /33
Reliability Research Group
人工神经网络
定义：在机器学习和认知科学领域，人工神经网络（artificial neural network，缩写ANN），简称神经网络（neural network，缩写 NN）或类神经网络，是一种模仿生物神经网络(动物的中枢神经系统， 特别是大脑)的结构和功能的数学模型或计算模型，用于对函数进行估 计或近似。神经网络由大量的人工神经元联结进行计算。大多数情况下 人工神经网络能在外界信息的基础上改变内部结构，是一种自适应系统。 现代神经网络是一种非线性统计性数据建模工具。
归神经网络中出现，后者的训练过程类似深度网络。 在分层训练的过程中，本应用于修正模型参数的误差随着层数的增加
指数递减，这导致了模型训练的效率低下。
理论上而言，参数越多的模型复杂度越高，“容量”也就越大，也就意
味着它能完成更复杂的学习任务。神经网络的层数直接决定了它对现实的 刻画能力——利用每层更少的神经元拟合更加复杂的函数。但是随着神经 网络层数的加深，优化函数越来越容易陷入局部最优解（即过拟合，在训 练样本上有很好的拟合效果，但是在测试集上效果很差），并且这个“陷 阱”越来越偏离真正的全局最优。利用有限数据训练的深层网络，性能还
6 /33
Reliability Research Group
BP神经网络
在知道了BP神经网络的特点后，我们需要依据信号的前 向传播和误差的反向传播来构建整个网络。
1、网络的初始化 假设输入层的节点个数为 ，隐含层的节点个数 为 ，输出层的节点个数为 。输入层到隐含层的权 重 ，隐含层到输出层的权重为 ，输入层到隐含 层的偏置为 ，隐含层到输出层的偏置为 。学习速 率为 ，激励函数为 。其中激励函数为取Sigmoid
4 /33
Reliability Research Group
网络结构
典型的神经网络具有以下三个 部分：
结构 （Architecture）： 结构指定了网络中 的变量和它们的拓扑关系。例如，神经网
络中的变量可以是神经元连接的权重 （weights）和神经元的激励值（activities of
the neurons）。
深度学习运用了这分层次抽象的思想，更高层次的概念从低层次的概Fra Baidu bibliotek 学习得到。这一分层结构常常使用贪婪算法逐层构建而成，并从中选取有 助于机器学习的更有效的特征.
不少深度学习算法都以无监督学习的形式出现，因而这些算法能被应用 于其他算法无法企及的无标签数据，这一类数据比有标签数据更丰富，也 更容易获得。这一点也为深度学习赢得了重要的优势。
可靠性小组学术交流
神经网络及深度学习简介及其应用 An Introduction to Neural Network and
Deep Learning and Its Application
学 生： 导 师： 专 业：
雷文辉 刘 宇 教授
工业工程
2016年10月
概述
1. 课题背景及意义
2. 主要内容
8 /33
Reliability Research Group
传统神经网络问题
福岛邦彦提出的新认知机引入了使用无监督学习训练的卷积神经网络。
燕乐存将有监督的反向传播算法应用于这一架构。事实上，从反向传播算 法自20世纪70年代提出以来，不少研究者都曾试图将其应用于训练有监督 的深度神经网络，但最初的尝试大都失败。赛普·霍克赖特在其博士论文 中将失败的原因归结为梯度消失，这一现象同时在深度前馈神经网络和递
不如较浅层网络。
9 /33
Reliability Research Group
深度学习框架
基本概念
深度学习的基础是机器学习中的分散表示（distributed representation）。 分散表示假定观测值是由不同因子相互作用生成。在此基础上，深度学习 进一步假定这一相互作用的过程可分为多个层次，代表对观测值的多层抽 象。不同的层数和层的规模可用于不同程度的抽象。
神经网络简介 深度学习框架简介
3. 应用实例 4. 总结
2 /33
Reliability Research Group
背景及意义
神经网络（Neural Network, NN）是机器学习的一个分支； 神经网络的基本理论形成于上世纪40年代后期，心理学家唐纳德·赫 布根据神经可塑性的机制创造了一种对学习的假说，现在称作赫布型 学习； 深度学习框架（Deep Learning）可以追溯到1980年福岛邦彦提出的 新认知机； 深度学习可以说是神经网络的品牌重塑；
10 /33
Reliability Research Group
激励函数（Activity Rule）： 大部分神 经网络模型具有一个短时间尺度的动力 学规则，来定义神经元如何根据其他神 经元的活动来改变自己的激励值。一般 激励函数依赖于网络中的权重（即该网
络的参数）。
学习规则（Learning Rule）：学习规则指 定了网络中的权重如何随着时间推进而调 整。这一般被看做是一种长时间尺度的动 力学规则。一般情况下，学习规则依赖于 神经元的激励值。它也可能依赖于监督者
5 /33
Reliability Research Group
举例
BP（Back Propagation）神经网络
BP神经网络是一种多层的前馈神经网络，其 主要的特点是：信号是前向传播的，而误差是反 向传播的。具体来说，对于如下的只含一个隐层 的神经网络模型：
BP神经网络的过程主要分为两 个阶段，第一阶段是信号的前 向传播，从输入层经过隐含层， 最后到达输出层；第二阶段是 误差的反向传播，从输出层到 隐含层，最后到输入层，依次 调节隐含层到输出层的权重和 偏置，输入层到隐含层的权重 和偏置。
函数。形式为：
7 /33
Reliability Research Group
BP神经网络
2、隐含层的输出 如上面的三层BP网络所示，隐含层的输出
为
3、输出层的输出
4、误差的计算 我们取误差公式为：
其中 为期望输出。我们记 ，则 可以表示为
5、权值的更新
权值的更新公式为：
6、偏置的更新
偏置的更新公式为：
3 /33
Reliability Research Group
人工神经网络
定义：在机器学习和认知科学领域，人工神经网络（artificial neural network，缩写ANN），简称神经网络（neural network，缩写 NN）或类神经网络，是一种模仿生物神经网络(动物的中枢神经系统， 特别是大脑)的结构和功能的数学模型或计算模型，用于对函数进行估 计或近似。神经网络由大量的人工神经元联结进行计算。大多数情况下 人工神经网络能在外界信息的基础上改变内部结构，是一种自适应系统。 现代神经网络是一种非线性统计性数据建模工具。
归神经网络中出现，后者的训练过程类似深度网络。 在分层训练的过程中，本应用于修正模型参数的误差随着层数的增加
指数递减，这导致了模型训练的效率低下。
理论上而言，参数越多的模型复杂度越高，“容量”也就越大，也就意
味着它能完成更复杂的学习任务。神经网络的层数直接决定了它对现实的 刻画能力——利用每层更少的神经元拟合更加复杂的函数。但是随着神经 网络层数的加深，优化函数越来越容易陷入局部最优解（即过拟合，在训 练样本上有很好的拟合效果，但是在测试集上效果很差），并且这个“陷 阱”越来越偏离真正的全局最优。利用有限数据训练的深层网络，性能还
6 /33
Reliability Research Group
BP神经网络
在知道了BP神经网络的特点后，我们需要依据信号的前 向传播和误差的反向传播来构建整个网络。
1、网络的初始化 假设输入层的节点个数为 ，隐含层的节点个数 为 ，输出层的节点个数为 。输入层到隐含层的权 重 ，隐含层到输出层的权重为 ，输入层到隐含 层的偏置为 ，隐含层到输出层的偏置为 。学习速 率为 ，激励函数为 。其中激励函数为取Sigmoid
4 /33
Reliability Research Group
网络结构
典型的神经网络具有以下三个 部分：
结构 （Architecture）： 结构指定了网络中 的变量和它们的拓扑关系。例如，神经网
络中的变量可以是神经元连接的权重 （weights）和神经元的激励值（activities of
the neurons）。
深度学习运用了这分层次抽象的思想，更高层次的概念从低层次的概Fra Baidu bibliotek 学习得到。这一分层结构常常使用贪婪算法逐层构建而成，并从中选取有 助于机器学习的更有效的特征.
不少深度学习算法都以无监督学习的形式出现，因而这些算法能被应用 于其他算法无法企及的无标签数据，这一类数据比有标签数据更丰富，也 更容易获得。这一点也为深度学习赢得了重要的优势。
可靠性小组学术交流
神经网络及深度学习简介及其应用 An Introduction to Neural Network and
Deep Learning and Its Application
学 生： 导 师： 专 业：
雷文辉 刘 宇 教授
工业工程
2016年10月
概述
1. 课题背景及意义
2. 主要内容
8 /33
Reliability Research Group
传统神经网络问题
福岛邦彦提出的新认知机引入了使用无监督学习训练的卷积神经网络。
燕乐存将有监督的反向传播算法应用于这一架构。事实上，从反向传播算 法自20世纪70年代提出以来，不少研究者都曾试图将其应用于训练有监督 的深度神经网络，但最初的尝试大都失败。赛普·霍克赖特在其博士论文 中将失败的原因归结为梯度消失，这一现象同时在深度前馈神经网络和递
不如较浅层网络。
9 /33
Reliability Research Group
深度学习框架
基本概念
深度学习的基础是机器学习中的分散表示（distributed representation）。 分散表示假定观测值是由不同因子相互作用生成。在此基础上，深度学习 进一步假定这一相互作用的过程可分为多个层次，代表对观测值的多层抽 象。不同的层数和层的规模可用于不同程度的抽象。
神经网络简介 深度学习框架简介
3. 应用实例 4. 总结
2 /33
Reliability Research Group
背景及意义
神经网络（Neural Network, NN）是机器学习的一个分支； 神经网络的基本理论形成于上世纪40年代后期，心理学家唐纳德·赫 布根据神经可塑性的机制创造了一种对学习的假说，现在称作赫布型 学习； 深度学习框架（Deep Learning）可以追溯到1980年福岛邦彦提出的 新认知机； 深度学习可以说是神经网络的品牌重塑；
10 /33
Reliability Research Group
激励函数（Activity Rule）： 大部分神 经网络模型具有一个短时间尺度的动力 学规则，来定义神经元如何根据其他神 经元的活动来改变自己的激励值。一般 激励函数依赖于网络中的权重（即该网
络的参数）。
学习规则（Learning Rule）：学习规则指 定了网络中的权重如何随着时间推进而调 整。这一般被看做是一种长时间尺度的动 力学规则。一般情况下，学习规则依赖于 神经元的激励值。它也可能依赖于监督者