基于深度信念网络的图像识别
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
利用反向传播算法(BP)进行参数微调。
另外，在本实验中，系统的分类器采用的是Softmax回归，而不是传统 Logistic回归。Logistic是一个二分类的分类器，输出结果是0和1及其对应的概 率。而Softmax是Logistic的一种扩展分类器，对于多分类问题具有更优的分类 效果。也就是说Softmax回归的结果是{1,2,…..,k},而Logistic回归的类别为{0,1}; 因此对于多类别问题，Logistic回归在是由多个二分类构成，而Softmax回归是 一个多分类直接完成。
DBN基本原理——限制玻尔兹曼机（Restricted Boltzmann Machine，RBM）
隐含层
可视层
RBM网络共有2层，其中第一层称为可视层，一般来说是输入层，另一层 是隐含层，也就是我们一般指的特征提取层。 Wnm 是可视层与隐藏层之间
的权重矩阵， b 是可视节点的偏移量， c 是隐藏节点的偏移量。
迭代次数在30次左右时，训练误 差达到稳定基本为0，但是测试误差处于不稳定状态。)
“
在此输入标题
“The En输d入！文字 在此录入上述图表的综合分析结论 在此录入上述图表的综合分析结论 在此录入上述图表的综合分析结论 在此录入上述图表的综合分析结论
I DS1 DS2 ….. DSn O 深度学习模型就是多个层次的堆叠，上层的输出作为下一层的输入;这样输入信号被分层次表 示。另外由于层次之间不可能没wenku.baidu.com信息丢失，那么，只能考虑如何将丢失的信息降到最低，如果下 一层跟上一层越接近，就越能体现上一层，对整个系统而言，提取出来的特征就越能体现物体本身， 识别精度越高。将这个限制降低之后，只需使得输入与输出的尽可能地接近，这就是深度学习的基 本思想。 深度学习中最为广泛应用的模型是深度信念网络
深度网络分层训练的思想
深度学习，重要的思想是其模型的“深度”，即网络结构是含有多个隐含层的，而不是单纯 的从输入到输出，且结构模型中隐含层的数目一般要大于 2。假如定义一个深度学习模型DS (Deep learning System），他有n个层次，从DS1,DS2…到DSn，加上系统的输入层I和输出层O， 整个层次构架可以表示为:
训练测试结果
右图是本实验中，在不同迭代次数下 DBN的训练和测试误差，在实验中，系统 从训练样本中随机抽出一些样本作为交叉 验证集，这些样本可以用来实时测试系统 的性能，同时防止局部收敛导致过拟合。 (所谓拟合是指已知某函数的若干离散函 数值{f1,f2,…,fn}，通过调整该函数中若 干待定系数f(λ1, λ2,…,λn)，使得该函数 与已知点集的差别(最小二乘意义)最小。
基于深度信念网络的图像识别
（Deep Belief Network，DBN）
PPT模板下载：www.1ppt.com/moban/
主要报告内容
主要阐述深度信念网络(DBN)的基本原理，模型结构和训练方法，分析深度学习和传 统神经网络的联系和区别;重点介绍深度信念网络的训练过程，即无监督训练和有监督微调构 成的半监督学习。
2)微调，待训练完成，为了使网络的性能更优，可以根据样本的标签值， 采用梯度向下算法，对整个网络进行调整，这时候，DBNs网络就是一个普通的 神经网络，方法跟BP算法类似。只是在微调之前，各层的权重都是事先训练好 的，并非像神经网络一样是随机初始化的，所以只需要少量的迭代，就可以得 到很好的效果。
基于深度信念网络的图像识别
深度信念网络训练过程
DBN的训练过程采用逐层训练的方法，每次只训练一层RBM，训练完一层 后，将该层的训练结果作为下一层RBM的输入;如此直至每一层RBM都训练完成， 这个过程也称之为预训练。RBM训练完成后，再根据样本的标签值，采用BP算 法向后微调。具体可以分为两部分:
1)预训练，首先初始化深度信念网络参数，初始化的部分包括每一层的结点 数以及整个DBNs网络的其他部分，如Dropout大小，是否加入稀疏性，是否加 入噪声等。初始化完毕后，就可以单独训练每一层RBM，第一层的输出毯作为 第二层的输入，如此类推，保留每一层的权重Wij。
（1）基于深度信念网络的手写字体识别
在本章实验采用的DBNs模型中，由于MNIST库中的图 片是28x28即784个像素，因此输入层定义为784个单元;实 验采用双层DBNs结构，两个隐含层都设置为100个单元， 由于数据库中包含0一9共10个数字，因此输出层为 10个单元;最终系统模型结构为28x28-100-100-10。 28x28-100-100是DBNs的输入层和两个隐含层，后面的 10是样本类别数。在DBN训练阶段，将每一层RBM的训练 迭代次数都设置为100，两层RBM的学习率分别是0.5, 0.5。 两层RBM训练完成后，将DBNs学习到的权重传入神经网络，
另外，在本实验中，系统的分类器采用的是Softmax回归，而不是传统 Logistic回归。Logistic是一个二分类的分类器，输出结果是0和1及其对应的概 率。而Softmax是Logistic的一种扩展分类器，对于多分类问题具有更优的分类 效果。也就是说Softmax回归的结果是{1,2,…..,k},而Logistic回归的类别为{0,1}; 因此对于多类别问题，Logistic回归在是由多个二分类构成，而Softmax回归是 一个多分类直接完成。
DBN基本原理——限制玻尔兹曼机（Restricted Boltzmann Machine，RBM）
隐含层
可视层
RBM网络共有2层，其中第一层称为可视层，一般来说是输入层，另一层 是隐含层，也就是我们一般指的特征提取层。 Wnm 是可视层与隐藏层之间
的权重矩阵， b 是可视节点的偏移量， c 是隐藏节点的偏移量。
迭代次数在30次左右时，训练误 差达到稳定基本为0，但是测试误差处于不稳定状态。)
“
在此输入标题
“The En输d入！文字 在此录入上述图表的综合分析结论 在此录入上述图表的综合分析结论 在此录入上述图表的综合分析结论 在此录入上述图表的综合分析结论
I DS1 DS2 ….. DSn O 深度学习模型就是多个层次的堆叠，上层的输出作为下一层的输入;这样输入信号被分层次表 示。另外由于层次之间不可能没wenku.baidu.com信息丢失，那么，只能考虑如何将丢失的信息降到最低，如果下 一层跟上一层越接近，就越能体现上一层，对整个系统而言，提取出来的特征就越能体现物体本身， 识别精度越高。将这个限制降低之后，只需使得输入与输出的尽可能地接近，这就是深度学习的基 本思想。 深度学习中最为广泛应用的模型是深度信念网络
深度网络分层训练的思想
深度学习，重要的思想是其模型的“深度”，即网络结构是含有多个隐含层的，而不是单纯 的从输入到输出，且结构模型中隐含层的数目一般要大于 2。假如定义一个深度学习模型DS (Deep learning System），他有n个层次，从DS1,DS2…到DSn，加上系统的输入层I和输出层O， 整个层次构架可以表示为:
训练测试结果
右图是本实验中，在不同迭代次数下 DBN的训练和测试误差，在实验中，系统 从训练样本中随机抽出一些样本作为交叉 验证集，这些样本可以用来实时测试系统 的性能，同时防止局部收敛导致过拟合。 (所谓拟合是指已知某函数的若干离散函 数值{f1,f2,…,fn}，通过调整该函数中若 干待定系数f(λ1, λ2,…,λn)，使得该函数 与已知点集的差别(最小二乘意义)最小。
基于深度信念网络的图像识别
（Deep Belief Network，DBN）
PPT模板下载：www.1ppt.com/moban/
主要报告内容
主要阐述深度信念网络(DBN)的基本原理，模型结构和训练方法，分析深度学习和传 统神经网络的联系和区别;重点介绍深度信念网络的训练过程，即无监督训练和有监督微调构 成的半监督学习。
2)微调，待训练完成，为了使网络的性能更优，可以根据样本的标签值， 采用梯度向下算法，对整个网络进行调整，这时候，DBNs网络就是一个普通的 神经网络，方法跟BP算法类似。只是在微调之前，各层的权重都是事先训练好 的，并非像神经网络一样是随机初始化的，所以只需要少量的迭代，就可以得 到很好的效果。
基于深度信念网络的图像识别
深度信念网络训练过程
DBN的训练过程采用逐层训练的方法，每次只训练一层RBM，训练完一层 后，将该层的训练结果作为下一层RBM的输入;如此直至每一层RBM都训练完成， 这个过程也称之为预训练。RBM训练完成后，再根据样本的标签值，采用BP算 法向后微调。具体可以分为两部分:
1)预训练，首先初始化深度信念网络参数，初始化的部分包括每一层的结点 数以及整个DBNs网络的其他部分，如Dropout大小，是否加入稀疏性，是否加 入噪声等。初始化完毕后，就可以单独训练每一层RBM，第一层的输出毯作为 第二层的输入，如此类推，保留每一层的权重Wij。
（1）基于深度信念网络的手写字体识别
在本章实验采用的DBNs模型中，由于MNIST库中的图 片是28x28即784个像素，因此输入层定义为784个单元;实 验采用双层DBNs结构，两个隐含层都设置为100个单元， 由于数据库中包含0一9共10个数字，因此输出层为 10个单元;最终系统模型结构为28x28-100-100-10。 28x28-100-100是DBNs的输入层和两个隐含层，后面的 10是样本类别数。在DBN训练阶段，将每一层RBM的训练 迭代次数都设置为100，两层RBM的学习率分别是0.5, 0.5。 两层RBM训练完成后，将DBNs学习到的权重传入神经网络，