深度学习(1)——sae(稀疏自动编码机)

• •
if i+1==n % 倒数第二层，即最后一个隐含层 d{i} = (d{i + 1} * nn.W{i} + sparsityError) .* d_act; % d_act = nn.a{i} .* (1 - nn.a{i});
• else %此外 • d{i} = (d{i + 1}(:,2:end) * nn.W{i} + sparsityError) .* d_act; • if(nn.dropoutFraction>0)% nn.dropOutMask{i}在nnff中已求得，必须与它相同 • d{i} = d{i} .* [ones(size(d{i},1),1) nn.dropOutMask{i}];（清零） 二、求dW{i} • if i+1==n • nn.dW{i} = (d{i + 1}' * nn.a{i}) / size(d{i + 1}, 1); • else • nn.dW{i} = (d{i + 1}(:,2:end)' * nn.a{i}) / size(d{i + 1}, 1); • (以往的bp网络，△W=-ƞ*de/dw,这里多了稀疏项，以及Dropout 的处理，在下一步的 nnapplygrads中还多了权值惩罚以及权值动量)
nntest • 调用函数nnpredict进行分类 • 看看分类结果与类标不同的有多少个，将它个数除以测试样本个数， 得到偏差。
nnpredict.m
• 令nn.test=1,然后把测试样本代进nnff函数中。得到输出。再令 nn.test=0。 • 找出此次代入nnff后的最后一层的每行的最大值所在的位置
• if(nn.nonSparsityPenalty>0)% 在nnbp中用到 • nn.p{i} = 0.99 * nn.p{i} + 0.01 * mean(nn.a{i}, 1);
三、输出层 • 1。当输出不接softmax时 • nn.a{n} = sigm(nn.a{n - 1} * nn.W{n - 1}'); • 2。当输出接分类器softmax时（此次实验没用到它） • … • 得到误差值 • e=y-a{n} • 当输出不接softmax时，平均误差平方为 • L = sum(sum(1/2 * nn.e .^ 2)) / m;
nntrain.m
x h y
结果
W1 b1
W2 b2
nnff.m
• 得到每层的激活值， 一、输入层 • a{1}=[ones(m,1) x],这里m=size(x,1)=100 二、隐含层（这里只考虑s函数） • 从第2到第n-1层，a{i} = sigm(nn.a{i - 1} * nn.W{i - 1}'); • dropoutFraction用在训练隐含层中，随机将激活值按比例清零（为了让权值不起作用） • dropoutFraction用在测试中，将激活值nn.a{i} = nn.a{i}.*(1 - nn.dropoutFraction)
深度学习(1)——
稀疏自动编码机（SAE）网络
广东工业大学
13级控制工程 1019408133@
传统神经网络 • 1）比较容易过拟合，参数比较难调整； • 2）训练速度比较慢，在层次比较少（小于等于3）的情况下效果 并不比其它方法更优； BP算法存在的问题： • （1）梯度越来越稀疏：从顶层越往下，误差校正信号越来越小； • （2）收敛到局部最小值：尤其是从远离最优区域开始的时候（随机 值初始化会导致这种情况的发生）； • （3）一般，我们只能用有标签的数据来训练：但大部分的数据是没 标签的，而大脑可以从没有标签的的数据中学习；
nnappபைடு நூலகம்ygrads.m
• 梯度下降法计算作为更新值的nn.W。 • 当设置nn.weightPenaltyL2>0，则 • dW = nn.dW{i} +… • nn.weightPenaltyL2 * [zeros(size(nn.W{i},1),1) nn.W{i}(:,2:end)]; • 当设置nn.weightPenaltyL2=0，则dW = nn.dW{i} • • • • • • 再让dW乘以学习率（或称 步长） 如果权值动量momentum>0，则 nn.vW{i} = nn.momentum*nn.vW{i} + dW; dW = nn.vW{i}; 最后nn.W{i} = nn.W{i} - dW; 1。惩罚项方法是一种间接修剪网络的办法，其原理是在传统的误差函数中加 入一衡量网络结构复杂程度的“复杂度项”。应用到权值更新规则后，该项 在训练过程中起到防止权值增长太大和驱使不重要权值逐渐减小到零的作用。 尽管那些接近零的连接权没有从网络中被删除。但它们对网络输出几乎没有 影响，已相当于从网络中被删除了。这样一来，训练后的神经网络实际上已 是被修剪过的小网络了。可见，惩罚项法在没有破坏网络结构的同时又达到 网络修剪的目的，从而是提高神经网络泛化能力的一个重要方法。 .2。权值动量是为了解决 “步长大收敛快，但是容易引起不稳定；步长小可避免 振荡，但是收敛慢”的矛盾。
nnbp.m
• 为了得到n-1组dW，用于调节n-1个W。在求dW过程中用到了中间变量 d{i}，d_act 一、求d{i} 1.输出层的d{n} • 当 nn.output=‘sigm’时，d{n} = - nn.e .* (nn.a{n} .* (1 - nn.a{n})); • （即1/2 *nn.e^2的复合函数求导，其中变量是nn.a{n}） 2.隐含层的d{i} • if(nn.nonSparsityPenalty>0) • pi = repmat(nn.p{i}, size(nn.a{i}, 1), 1); • sparsityError = [zeros(size(nn.a{i},1),1) nn.nonSparsityPenalty * (-nn.sparsityTarget ./ pi + (1 - nn.sparsityTarget) ./ (1 - pi))];
一、针对过拟合现象的处理 • 1.惩罚项(Penalty，正则化方法，正则化的一般形式是在整个目标函 数后增加一个正则项，以使经验风险最小化。把不重要的项的参数 保留，但是令其系数为零)
• 2.给输入层a{1}加噪，以及对隐含层a{i}进行Dropout （按比例随机清 零。） 二、针对训练快慢与稳定性的矛盾 应用权值动量辅助调整权值 三、针对以往一个bp网络不能太多层 先逐个逐个隐含层进行无监督训练（实际还是用bp），即调用 saesetup.m以及saetrain.m。 然后得到各个隐含层的参数才对完整的 网络进行有监督训练。
• 三、训练前向网络
saesetup.m
这里sae.setup中的输入是[784 100]，令architecture=[784 10 784] ,调 用nnsetup进行网络参数设置。
x
h
x
W1 b1
W1’ b1’
saetrain.m
• 逐个隐含层进行nntrain(sae.ae{i}, x, x, opts)训练更新sae.ae{i}参数， 其实就是更新sae.ae{i}.W{1}、sae.ae{i}.W{2} • 实验中，这里的i=1，因而就是得到sae.ae{1}.W{1}、sae.ae{1}.W{2}， 而最后只取用sae.ae{1}.W{1}
nnsetup.m
nn.size = architecture; %要设置的各层节点结构，如[784 100 784] nn.n = numel(nn.size); %层数，当[784 100 784]，则为3 nn.activation_function = ‘tanh_opt’; %激活函数，或称传递函数 nn.learningRate = 2; %学习率，或称步长，就是决定每次梯度下降的长度 nn.momentum = 0.5; % 权值动量 nn.scaling_learningRate = 1; %在nntrain中出现，是每代间，学习率的关系倍数 nn.weightPenaltyL2 = 0; %权值惩罚(L2正则化)，在nnapplygrads中用到 nn.nonSparsityPenalty = 0; %稀疏惩罚项，在nnbp中用到。 nn.sparsityTarget = 0.05; %稀疏目标，在nnbp中用到。 nn.inputZeroMaskedFraction = 0; %用于加噪 nn.dropoutFraction = 0; %每一次mini-batch样本输入训练时，随机扔掉0%的隐 含层节点 nn.testing = 0; %设置此时网络有无测试 nn.output = ‘sigm’; %输出接什么函数，还有'softmax' and 'linear‘ 以下i 为从第 2 到最后一层 nn.n nn.W{i - 1} 随机给出网络权值初始值 nn.vW{i - 1} 让它初值=0 %用于更新参数时的临时参数 nn.p{i} 让它初值=0 稀疏
test_example_SAE.m
• 一、训练隐含层（例中为单个隐含层）
• • • • 1.调用saesetup设置网络参数( 结构为[784 100]的两层网络) 2.在第1步基础上修改网络参数（这里是修改第一组的 激活函数类型、学习 率、输入加噪率、训练迭代次数、batchsize) 3.调用saetrain，让它对各个隐含层进行逐层训练（例子中给的隐含层数为 1层，100个节点，输入输出同是train_x。每次进行nntrain来训练隐含层都为 三层网络，输入层和输出层一样） 4.对第一组权值进行可视化，看看学习结果。（由于例中的网络只有一个 100节点隐含层，故可视化为一张100个特征块图片。第一组权值W{1}用于编 码，第二组W{2}用于解码）