深度学习(1)——sae(稀疏自动编码机)PPT教学课件

nn.p{i} 让它初值=0
稀疏
2020/12/10
7
nntrain(这里无验证数据输入)
• 大循环逐numepochs(训练代数)
• 小循环逐numbatches(每代的样本批次，每批样本100个，它们共同 决定更新一次权值。。。。。不同代的同个批次中的样本不会相同， 因为被随机打乱了。)
• 1 故有numepochs* numbatches次执行下列（这么多次更新权值）
784 100 +1 +1 784 阈值B
+1 +1 2020/12/10a{1} a{2}
这里a{1}=train_x
a{2}=sigm(nn.a{1} * nn.W{1}‘)，作为训练 第二个隐含层的输入，但是这里只有一个 隐含层，所以a{2}在这里并没用
若是需要训练两个隐含层，那么这 里的a{2}则作为设置整个网络（结构是[784 100 10]）
• 2.设置网络的激活函数和学习率
• 3.第一步中，把用于编码的W（实际包括阈值b和权值W）赋给此网络。
• 三、训练前向网络
• 1. 设置训练次数、batchsize。
• 2.调用nntrain训练整个网络（此时因期望输出是train_y，为有监督的训练）
• 判断inputZeroMaskedFraction，看看是否要加噪，是的话，按此比 例随机把输入值清零。
• nn = nnff(nn, batch_x, batch_y);%前向网络
• nn = nnbp(nn);
• 逐个隐含层进行nntrain(sae.ae{i}, x, x, opts)训练更新sae.ae{i}参数， 其实就是更新sae.ae{i}.W{1}、sae.ae{i}.W{2}
• 实验中，这里的i=1，因而就是得到sae.ae{1}.W{1}、sae.ae{1}.W{2}， 而最后只取用sae.ae{1}.W{1}
深度学习(1)——
稀疏自动编码机（SAE）网络
13级控制工程
2020/12/10
1
传统神经网络
• 1）比较容易过拟合，参数比较难调整；
• 2）训练速度比较慢，在层次比较少（小于等于3）的情况下效果 并不比其它方法更优；
BP算法存在的问题：
• （1）梯度越来越稀疏：从顶层越往下，误差校正信号越来越小；
2•0203/1.调2/1用0 nntest测试整个网络
4
saesetup.m
这里sae.setup中的输入是[784 100]，令architecture=[784 10 784] ,调 用nnsetup进行网络参数设置。
x
h
x
W1 W1’ b1 b1’
2020/12/10
5
saetrain.m
nn.testing = 0; %设置此时网络有无测试 nn.output = ‘sigm’; %输出接什么函数，还有'softmax' and 'linear‘
以下i 为从第 2 到最后一层 nn.n
nn.W{i - 1} 随机给出网络权值初始值
nn.vW{i - 1} 让它初值=0 %用于更新参数时的临时参数
• （2）收敛到局部最小值：尤其是从远离最优区域开始的时候（随机 值初始化会导致这种情况的发生）；
• （3）一般，我们只能用有标签的数据来训练：但大部分的数据是没 标签的，而大脑可以从没有标签的的数据中学习；
2020/12/10
2
一、针对过拟合现象的处理
• 1.惩罚项(Penalty，正则化方法，正则化的一般形式是在整个目标函
1层，100个节点，输入输出同是train_x。每次进行nntrain来训练隐含层都为 三层网络，输入层和输出层一样）
• 4.对第一组权值进行可视化，看看学习结果。（由于例中的网络只有一个 100节点隐含层，故可视化为一张100个特征块图片。第一组权值W{1}用于编 码，第二组W{2}用于解码）
• 二、初始化网络（为第三步初始化）
。 数后增加一个正则项，以使经验风险最小化 把不重要的项的参数
保留，但是令其系数为零)
• 2.给输入层a{1}加噪，以及对隐含层a{i}进行Dropout （按比例随机清 零。）
二、针对训练快慢与稳定性的矛盾
应用权值动量辅助调整权值
三、针对以往一个bp网络不能太多层 先逐个逐个隐含层进行无监督训练（实际还是用bp），即调用 saesetup.m以及saetrain.m。 然后得到各个隐含层的参数才对完整的 网络进行有监督训练。
2020/12/10
3
test_example_SAE.m
• 一、训练隐含层（例中为单个隐含层）
• 1.调用saesetup设置网络参数( 结构为[784 100]的两层网络) • 2.在第1步基础上修改网络参数（这里是修改第一组的 激活函数类型、学习
率、输入加噪率、训练迭代次数、batchsize) • 3.调用saetrain，让它对各个隐含层进行逐层训练（例子中给的隐含层数为
6
nnsetup.m
nn.size = architecture; %要设置的各层节点结构，如[784 100 784] nn.n = numel(nn.size); %层数，当[784 100 784]，则为3 nn.activation_function = ‘tanh_opt’; %激活函数，或称传递函数 nn.learningRate = 2; %学习率，或称步长，就是决定每次梯度下降的长度 nn.momentum = 0.5; % 权值动量 nn.scaling_learningRate = 1; %在nntrain中出现，是每代间，学习率的关系倍数 nn.weightPenaltyL2 = 0; %权值惩罚(L2正则化)，在nnapplygrads中用到 nn.nonSparsityPenalty = 0; %稀疏惩罚项，在nnbp中用到。 nn.sparsityTarget = 0.05; %稀疏目标，在nnbp中用到。 nn.inputZeroMaskedFraction = 0; %用于加噪 nn.dropoutFraction = 0; %每一次mini-batch样本输入训练时，随机扔掉0%的隐 含层节点