深度学习入门理论简介ppt
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
在研究中可以发现，如果在原有的特征中加入这些自动学习得到的特 征可以大大提高精确度，甚至在分类问题中比目前最好的分类算法效果还 要好！
18
AutoEncoder自动编码器
• AutoEncoder存在的一些变体：
• a）Sparse AutoEncoder稀疏自动编码器 • b）Denoising AutoEncoders降噪自动编码器
20
Sparse Coding稀疏编码
21
Sparse Coding稀疏编码
• Sparse coding分为两个部分：
1）Training阶段：
给定一系列的样本图片[x1, x 2, …]，我们需要学 习得到一组基[Φ 1, Φ 2, …]，也就是字典。
训练过程就是一个重复迭代的过程，交替更改a和Φ使 得下面这个目标函数最小。
15
AutoEncoder自动编码器
• 2）通过编码器产生特征，然后训练下一层。这样逐层训 练：
将第一层输出的code当成第二层的输入信号，同样最小化重构误差，就会 得到第二层的参数，并且得到第二层输出的code，也就是原输入信息的第 二个表达了。其他层就用同样的方法炮制。
16
AutoEncoder自动编码器
13
深度学习的常用模型
• 1、AutoEncoder自动编码器
• 自动编码器就是一种尽可能复现输入信号的神经网络。具 体过程简单的说明如下：
• 1）给定无标签数据，用非监督学习学习特征：
14
ຫໍສະໝຸດ Baidu
AutoEncoder自动编码器
通过调整encoder和decoder的参数，使得重构误差最小，这时候我们就得到 了输入input信号的第一个表示了，也就是编码code了。因为是无标签数据， 所以误差的来源就是直接重构后与原输入相比得到。
19
深度学习的常用模型
• 2、Sparse Coding稀疏编码
• 将一个信号表示为一组基的线性组合，而且要求只需要较 少的几个基就可以将信号表示出来。
• 稀疏编码算法是一种无监督学习方法，它用来寻找一组 “超完备”基向量来更高效地表示样本数据。
目标函数： Min |I – O| + u*(|a1| + |a2| + … + |an |)
7
关于特征
3、结构性特征表示
小块的图形可以由基本edge构成，更结构化， 更复杂的，具有概念性的图形如何表示呢？
8
关于特征
在不同对象上做训练时，所得的边缘基底 是非常相似的，但对象部分 和模型 就会完全不同了。
9
关于特征
4、需要有多少个 特征
我们知道需要层 次的特征构建，由浅 入深，但每一层该有 多少个特征呢？
深度学习入门理论
1
主要内容
1
人脑视觉机理
2
关于特征
3
深度学习思想
4
训练过程
5
常用模型
2
人脑视觉机理
人的视觉系统的信息处理是分级的，神经-中枢-大 脑的工作过程是一个不断迭代、不断抽象的过程。
3
目前我们通过机器学习去解决这些问题的思路都是这样的（以视觉感知为例）：
4
关于特征
特征是机器学习系统的原材料。如果数据被很好的表 达成了特征，通常线性模型就能达到满意的精度。
• 4、Deep Belief Networks深信度网络 • 5、Convolutional Neural Networks卷积神经
网络
24
25
手段，“特征学习”是目的。
11
深度学习训练过程
• 1）使用自下上升非监督学习
从底层开始，一层一层的往顶层训练，采用无标定 数据（有标定数据也可）分层训练各层参数。
• 2）自顶向下的监督学习
就是通过带标签的数据去训练，误差自顶向下传输， 对网络进行微调，基于第一步得到的各层参数进一步微调 整个多层模型的参数，这一步是一个有监督训练过程
22
Sparse Coding稀疏编码
• 2）Coding阶段：
给定一个新的图片x，由上面得到的字典，通过解一 个LASSO问题得到稀疏向量a。这个稀疏向量就是这个输入 向量x的一个稀疏表达了。
23
深度学习的常用模型
• 3、Restricted Boltzmann Machine (RBM)限 制波尔兹曼机
10
深度学习思想
•
对堆叠多个层，也就是
说这一层的输出作为下一层
的输入。通过这种方式，并
且使得输入与输出的差别尽
可能地小，就可以实现对输
入信息进行分级表达了。
•
深度学习的实质，是通
过构建具有很多隐层的机器
学习模型和海量的训练数据，
来学习更有用的特征，从而
最终提升分类或预测的准确
性。因此，“深度模型”是
对于特征，我们需要考虑四个方面： • 1、特征表示的粒度 • 2、初级（浅层）特征表示 • 3、结构性特征表示 • 4、需要有多少个特征
5
关于特征
1、特征表示的粒 度
学习算法在一个什 么粒度上的特征表示， 才有能发挥作用？
6
关于特征
2、初级（浅层）特 征表示
像素级的特征表示方 法没有作用，那怎样的表 示才有用呢？
• 3）有监督微调： 到这里，这个AutoEncoder还不能用来分类数据，可
以在AutoEncoder的最顶的编码层添加一个分类器，然后 通过标准的多层神经网络的监督训练方法（梯度下降法） 去训练。
微调分为两种，一个是只调整分类器（黑色部分）：
17
AutoEncoder自动编码器
• 另一种：通过有标签样本，微调整个系统：
18
AutoEncoder自动编码器
• AutoEncoder存在的一些变体：
• a）Sparse AutoEncoder稀疏自动编码器 • b）Denoising AutoEncoders降噪自动编码器
20
Sparse Coding稀疏编码
21
Sparse Coding稀疏编码
• Sparse coding分为两个部分：
1）Training阶段：
给定一系列的样本图片[x1, x 2, …]，我们需要学 习得到一组基[Φ 1, Φ 2, …]，也就是字典。
训练过程就是一个重复迭代的过程，交替更改a和Φ使 得下面这个目标函数最小。
15
AutoEncoder自动编码器
• 2）通过编码器产生特征，然后训练下一层。这样逐层训 练：
将第一层输出的code当成第二层的输入信号，同样最小化重构误差，就会 得到第二层的参数，并且得到第二层输出的code，也就是原输入信息的第 二个表达了。其他层就用同样的方法炮制。
16
AutoEncoder自动编码器
13
深度学习的常用模型
• 1、AutoEncoder自动编码器
• 自动编码器就是一种尽可能复现输入信号的神经网络。具 体过程简单的说明如下：
• 1）给定无标签数据，用非监督学习学习特征：
14
ຫໍສະໝຸດ Baidu
AutoEncoder自动编码器
通过调整encoder和decoder的参数，使得重构误差最小，这时候我们就得到 了输入input信号的第一个表示了，也就是编码code了。因为是无标签数据， 所以误差的来源就是直接重构后与原输入相比得到。
19
深度学习的常用模型
• 2、Sparse Coding稀疏编码
• 将一个信号表示为一组基的线性组合，而且要求只需要较 少的几个基就可以将信号表示出来。
• 稀疏编码算法是一种无监督学习方法，它用来寻找一组 “超完备”基向量来更高效地表示样本数据。
目标函数： Min |I – O| + u*(|a1| + |a2| + … + |an |)
7
关于特征
3、结构性特征表示
小块的图形可以由基本edge构成，更结构化， 更复杂的，具有概念性的图形如何表示呢？
8
关于特征
在不同对象上做训练时，所得的边缘基底 是非常相似的，但对象部分 和模型 就会完全不同了。
9
关于特征
4、需要有多少个 特征
我们知道需要层 次的特征构建，由浅 入深，但每一层该有 多少个特征呢？
深度学习入门理论
1
主要内容
1
人脑视觉机理
2
关于特征
3
深度学习思想
4
训练过程
5
常用模型
2
人脑视觉机理
人的视觉系统的信息处理是分级的，神经-中枢-大 脑的工作过程是一个不断迭代、不断抽象的过程。
3
目前我们通过机器学习去解决这些问题的思路都是这样的（以视觉感知为例）：
4
关于特征
特征是机器学习系统的原材料。如果数据被很好的表 达成了特征，通常线性模型就能达到满意的精度。
• 4、Deep Belief Networks深信度网络 • 5、Convolutional Neural Networks卷积神经
网络
24
25
手段，“特征学习”是目的。
11
深度学习训练过程
• 1）使用自下上升非监督学习
从底层开始，一层一层的往顶层训练，采用无标定 数据（有标定数据也可）分层训练各层参数。
• 2）自顶向下的监督学习
就是通过带标签的数据去训练，误差自顶向下传输， 对网络进行微调，基于第一步得到的各层参数进一步微调 整个多层模型的参数，这一步是一个有监督训练过程
22
Sparse Coding稀疏编码
• 2）Coding阶段：
给定一个新的图片x，由上面得到的字典，通过解一 个LASSO问题得到稀疏向量a。这个稀疏向量就是这个输入 向量x的一个稀疏表达了。
23
深度学习的常用模型
• 3、Restricted Boltzmann Machine (RBM)限 制波尔兹曼机
10
深度学习思想
•
对堆叠多个层，也就是
说这一层的输出作为下一层
的输入。通过这种方式，并
且使得输入与输出的差别尽
可能地小，就可以实现对输
入信息进行分级表达了。
•
深度学习的实质，是通
过构建具有很多隐层的机器
学习模型和海量的训练数据，
来学习更有用的特征，从而
最终提升分类或预测的准确
性。因此，“深度模型”是
对于特征，我们需要考虑四个方面： • 1、特征表示的粒度 • 2、初级（浅层）特征表示 • 3、结构性特征表示 • 4、需要有多少个特征
5
关于特征
1、特征表示的粒 度
学习算法在一个什 么粒度上的特征表示， 才有能发挥作用？
6
关于特征
2、初级（浅层）特 征表示
像素级的特征表示方 法没有作用，那怎样的表 示才有用呢？
• 3）有监督微调： 到这里，这个AutoEncoder还不能用来分类数据，可
以在AutoEncoder的最顶的编码层添加一个分类器，然后 通过标准的多层神经网络的监督训练方法（梯度下降法） 去训练。
微调分为两种，一个是只调整分类器（黑色部分）：
17
AutoEncoder自动编码器
• 另一种：通过有标签样本，微调整个系统：