稀疏自编码器SAE
基于SAE的深度过程神经网络模式识别与预测
基于SAE的深度过程神经网络模式识别与预测作者：祁威许少华来源：《软件导刊》2018年第05期摘要：非线性复杂时变信号模式分类是信号处理和人工智能研究领域的重要课题。
将稀疏自动编码器（SAE）与过程神经网络（PNN）栈式叠加，构建了一种深度过程神经网络模型（DPNN）。
在传统深度神经网络无监督逐层初始化与梯度下降相结合的算法基础上，通过引入一种时变输入信号和连接权函数，基于一组正交函数基，建立DPNN的综合训练算法。
DPNN模型可保持样本特征的多样性，有效提高对信号结构特征的提取能力和不同类别样本特征的区分度。
将传统深度神经网络在信息处理机制上扩展为时间域，实现对时变信号直接分类处理，应用于心脑血管疾病的预测分析和处理取得了良好结果。
关键词：稀疏自动编码器；过程神经网络；深度过程神经网络；非线性时变信号；模式识别DOI：10.11907/rjdk.173282中图分类号：TP301Abstract：The classification of nonlinear complex time-varying signals is an important aspect of signal processing and artificial intelligence. Deep process neural network model is constructed by stacking sparse automatic encoders and process neural networks in this paper. We establish the depth process neural network integrated with training algorithm by introducing a time-varying input signal and connection weight function based on a set of orthogonal function base expansion algorithm. Based on the algorithm of unsupervised layer initialization of traditional depth neural network and gradient descent， DPNN model can maintain the diversity of sample characteristics and effectively improve the extraction of signal structure characteristics and different types of sample characteristics of the distinction.At the same time the traditional depth of neural network in the information processing mechanism is expanded into the time domain to achieve direct classification processing of time-varying signals， cardiovascular and cerebrovascular disease prediction， The cardiovascular and cerebrovascular disease prediction was analyzed and processed， and good results are obtained.Key Words：sparse automatic encoder； process neural network； SAE depth process neural network； nonlinear time-varying signal； pattern recognition0 引言心脑血管疾病的发生与人的各项生理指标息息相关，其发病原因复杂多样，给心脑血管疾病的预测带来了困难，许多学者对此进行了研究。
深度学习(1)——sae(稀疏自动编码机)
• •
if i+1==n % 倒数第二层，即最后一个隐含层 d{i} = (d{i + 1} * nn.W{i} + sparsityError) .* d_act; % d_act = nn.a{i} .* (1 - nn.a{i});
• else %此外 • d{i} = (d{i + 1}(:,2:end) * nn.W{i} + sparsityError) .* d_act; • if(nn.dropoutFraction>0)% nn.dropOutMask{i}在nnff中已求得，必须与它相同 • d{i} = d{i} .* [ones(size(d{i},1),1) nn.dropOutMask{i}];（清零） 二、求dW{i} • if i+1==n • nn.dW{i} = (d{i + 1}' * nn.a{i}) / size(d{i + 1}, 1); • else • nn.dW{i} = (d{i + 1}(:,2:end)' * nn.a{i}) / size(d{i + 1}, 1); • (以往的bp网络，△W=-ƞ*de/dw,这里多了稀疏项，以及Dropout 的处理，在下一步的 nnapplygrads中还多了权值惩罚以及权值动量)
nntest • 调用函数nnpredict进行分类 • 看看分类结果与类标不同的有多少个，将它个数除以测试样本个数， 得到偏差。
nnpredict.m
• 令nn.test=1,然后把测试样本代进nnff函数中。得到输出。再令 nn.test=0。 • 找出此次代入nnff后的最后一层的每行的最大值所在的位置
• if(nn.nonSparsityPenalty>0)% 在nnbp中用到 • nn.p{i} = 0.99 * nn.p{i} + 0.01 * mean(nn.a{i}, 1);
稀疏编码与变分自编码器的融合方法探索
稀疏编码与变分自编码器的融合方法探索近年来，深度学习在人工智能领域取得了巨大的突破。
稀疏编码和变分自编码器是深度学习中常用的两种方法，它们分别在特征提取和生成模型中具有重要的作用。
本文将探讨如何将稀疏编码与变分自编码器相结合，以提高模型的性能和泛化能力。
稀疏编码是一种特征提取方法，它通过对输入数据进行稀疏表示，从而提取出数据的重要特征。
稀疏编码的核心思想是寻找一个稀疏的表示矩阵，使得输入数据能够被稀疏表示。
在稀疏编码中，通常会使用L1正则化来促使稀疏性，即通过最小化稀疏表示的L1范数来实现。
然而，传统的稀疏编码方法存在一些问题。
首先，传统的稀疏编码方法只考虑了输入数据的稀疏性，而没有考虑到数据的分布情况。
其次，传统的稀疏编码方法是无监督的，它只能提取出数据的无标签特征，而无法利用标签信息提取有监督的特征。
为了解决这些问题，研究者们提出了变分自编码器。
变分自编码器是一种生成模型，它通过学习数据的分布情况，从而能够生成新的样本。
变分自编码器的核心思想是通过编码器将输入数据映射到潜在空间中的隐变量，然后通过解码器将隐变量映射回输入空间，从而重构输入数据。
通过最小化重构误差，变分自编码器能够学习到数据的分布情况，并生成新的样本。
然而，变分自编码器也存在一些问题。
首先，变分自编码器在生成样本时存在模糊性，即生成的样本可能不够清晰。
其次，变分自编码器在学习数据分布时，往往会受到噪声的干扰，导致学习到的分布不准确。
为了克服这些问题，研究者们开始探索将稀疏编码与变分自编码器相结合的方法。
他们发现，通过在变分自编码器中引入稀疏编码的思想，可以提高模型的性能和泛化能力。
具体而言，他们在变分自编码器的编码器中引入了稀疏性约束，使得编码器能够学习到更加稀疏的表示。
同时，他们在解码器中引入了重构误差的L1正则化，以促使解码器生成更加清晰的样本。
通过将稀疏编码与变分自编码器相结合，研究者们取得了一些令人瞩目的成果。
他们发现，这种融合方法不仅能够提高模型的性能和泛化能力，还能够生成更加清晰和准确的样本。
深度学习(1)——sae(稀疏自动编码机)PPT教学课件
nn.p{i} 让它初值=0
稀疏
2020/12/10
7
nntrain(这里无验证数据输入)
• 大循环逐numepochs(训练代数)
• 小循环逐numbatches(每代的样本批次，每批样本100个，它们共同 决定更新一次权值。。。。。不同代的同个批次中的样本不会相同， 因为被随机打乱了。)
• 1 故有numepochs* numbatches次执行下列（这么多次更新权值）
784 100 +1 +1 784 阈值B
+1 +1 2020/12/10a{1} a{2}
这里a{1}=train_x
a{2}=sigm(nn.a{1} * nn.W{1}‘)，作为训练 第二个隐含层的输入，但是这里只有一个 隐含层，所以a{2}在这里并没用
若是需要训练两个隐含层，那么这 里的a{2}则作为设置整个网络（结构是[784 100 10]）
• 2.设置网络的激活函数和学习率
• 3.第一步中，把用于编码的W（实际包括阈值b和权值W）赋给此网络。
• 三、训练前向网络
• 1. 设置训练次数、batchsize。
• 2.调用nntrain训练整个网络（此时因期望输出是train_y，为有监督的训练）
• 判断inputZeroMaskedFraction，看看是否要加噪，是的话，按此比 例随机把输入值清零。
• nn = nnff(nn, batch_x, batch_y);%前向网络
• nn = nnbp(nn);
• 逐个隐含层进行nntrain(sae.ae{i}, x, x, opts)训练更新sae.ae{i}参数， 其实就是更新sae.ae{i}.W{1}、sae.ae{i}.W{2}
利用稀疏自编码器的调制样式 识别算法
利用稀疏自编码器的调制样式识别算法利用稀疏自编码器(Sparse Auto-Encoder, SAE)可以实现对调制样式的识别，这种方法通常与Softmax分类器结合使用，以提高识别的准确性和效率。
以下是该算法的一些关键信息：1. 算法结构：该算法通过将稀疏自编码器与Softmax分类器级联构成识别系统。
稀疏自编码器负责从输入数据中提取特征，而Softmax分类器则用于根据提取的特征进行调制样式的分类。
2. 特征参数：为了利用信号幅度和相位所包含的调制样式信息，算法需要将复数信号预处理，并将两个高阶累积量特征参数的格雷码编码构成系统输入矢量。
3. 基本原理：稀疏自编码器是一种基于神经网络的自编码器模型，其目标是通过学习到的稀疏表示来重构输入数据。
与传统自编码器相比，稀疏自编码器引入了稀疏性惩罚项，以促使隐藏层神经元的激活更加稀疏。
这样可以更好地捕捉输入数据的重要特征。
4. 训练方法：稀疏自编码器的训练通常使用反向传播算法和梯度下降方法。
在反向传播过程中，首先计算重构误差，然后根据重构误差计算梯度，并更新网络参数。
为了实现稀疏性，还需要引入稀疏性惩罚项，通常使用L1正则化或KL散度来度量隐藏层神经元的稀疏激活程度。
5. 识别性能：这种基于特征参数和SAE的识别算法（FSAE算法）能够有效识别多种调制样式，如BPSK、QPSK、8PSK、16QAM、32QAM、16APSK和32APSK等。
6. 优势：该算法能够减少对复杂幅相信号识别所需的特征参数数量，提高识别率，尤其是在处理传统方法难以识别的复杂信号时表现出较高的性能。
综上所述，利用稀疏自编码器的调制样式识别算法是一种有效的信号处理技术，它通过深度学习的方法自动提取信号特征，并结合分类器进行高精度的调制样式识别。
这种方法在无线通信领域具有重要的应用价值，尤其在自动调制识别（Automatic Modulation Classification, AMC）系统中，可以显著提升系统的智能化水平。
基于TSNE和多尺度稀疏自编码的高光谱图像分类
基于TSNE和多尺度稀疏自编码的高光谱图像分类董安国; 张倩; 刘洪超; 梁苗苗【期刊名称】《《计算机工程与应用》》【年(卷),期】2019(055)021【总页数】6页(P176-181)【关键词】高光谱图像; 深度学习; 多尺度空间特征; 流形学习【作者】董安国; 张倩; 刘洪超; 梁苗苗【作者单位】长安大学理学院西安 710064; 江西理工大学信息工程学院江西赣州 341000【正文语种】中文【中图分类】TP751 引言随着高光谱遥感技术的快速发展，引起了农业、医学、环境科学等其他领域的高度重视，而高光谱图像（Hyperspectral Image，HSI）分类是高光谱遥感技术中热门研究的问题。
高光谱数据存在维数“灾难”、同谱异类及同类异谱的现象[1]，因此，对数据进行降维处理，提取数据的隐含特征，剔除数据的冗余信息对于高光谱图像分类有很大的帮助[2]。
近年来，深度学习在特征提取方面展现了巨大优势。
Lin等人[3]采用自编码（Auto-encoder，AE）加逻辑回归（Logistic Regression，LR）的网络结构进行HSI分类，但其只考虑了光谱波段的相关性。
Chen等人使用栈式自编码[4]和深度置信网络[5]进行深度空谱特征学习，但其只用了主成分分析（Principal Component Analysis，PCA）降维，提取空间信息时模型中训练了邻域的所有像元，增加了计算复杂度。
王立伟等人[6]采用深度学习与迁移学习相结合的方法处理HSI分类问题，并取得了良好的分类效果。
多尺度特征[7]（Multiscale Feature，MF）和流形学习（Manifold Learning，ML）近年来在HSI分类中也取得了较好的分类效果。
姚琼等人[8]利用3DGobar多视图，提出3DGobar多视图主动学习的HSI的分类算法。
Fang等人[9]利用多尺度空间邻域内自适应一致性约束，提出多尺度自适应稀疏表示策略（MASR）。
深度稀疏自编码网络识别飞行员疲劳状态
深度稀疏自编码网络识别飞行员疲劳状态CHU Yin-xue;LU Zhi-jun;QIU Xu-yi;WU Qi【摘要】针对飞行员疲劳状态识别的复杂性和准确性,提出一种基于脑电信号的深度学习模型.首先对飞行员脑电信号进行滤波分解,提取delta波(0.5～4 Hz)、theta波(5～8 Hz)、alpha波(7～14 Hz)、beta波(14～30 Hz),提取基于脑电节律波的频域特征,作为识别模型的输入向量.其次,将一种基于深度稀疏自编码网络–Softmax模型用于飞行员疲劳状态识别,并与单层的稀疏自编码网络–Softmax和传统方法主成分分析(PCA)–Softmax模型识别结果进行比较.最后,实验结果显示,针对飞行员疲劳状态识别问题,所建立的学习模型具有很好的分类识别效果,具有较好的工程推广价值.【期刊名称】《控制理论与应用》【年(卷),期】2019(036)006【总页数】8页(P850-857)【关键词】飞行员疲劳;脑电信号;深度稀疏自编码网络;Softmax分类器【作者】CHU Yin-xue;LU Zhi-jun;QIU Xu-yi;WU Qi【作者单位】【正文语种】中文1 引言随着飞行器自动化设计技术的不断进步和人类对航空安全的不断重视,飞机在可靠性和安全性方面有了长足的进步,由于飞机机械故障导致事故的比例从80%降到了20%,但是因飞行员操作失误造成事故的比例则逐步增多[1-3].疲劳飞行是引起飞行员操作失误的主要原因之一,据美国国家安全局近40年的调查统计发现,多于300起航空事故归因于飞行员疲劳[4].因此,减少因飞行员疲劳造成的飞行事故,对航空安全具有重大意义.飞行员疲劳,即飞行员由于工作负荷、飞行各阶段物理、生理和心理因素等,有机体的生理过程不能使其机能继续维持在安全飞行这一特定的水平上,主要表现是身体工作能力下降,思维和操纵警觉水平下降[5-6].目前飞行员疲劳监测可通过客观测量和主观评价的方法进行.主观评价是通过飞行员自我记录表、主观调查表、斯坦福睡眠尺度表或皮尔逊疲劳量表等综合评定飞行员疲劳状态的检测方法.客观测量是通过测量一些与疲劳状态相关的生理指标,如眼睑闭合、头部运动、手部运动、心率、脉搏等来判断飞行员的疲劳状态.相比于主观评价,客观测量更能量化地反映飞行员疲劳程度,成为疲劳检测的主要发展方向[7-8].大量神经细胞群在大脑神经中枢传输控制行为意识的信号时产生突触后电位的变化形成脑电信号.脑电信号作为众多生理指标中的一个,被誉为是疲劳状态识别的“金标准”.如Alireza Ghaemi等用脑电信号来识别左右手的活动[9],平均准确率达到76.24%;南京航空航天大学的陈春晓等[10],用脑电信号的频谱信息来评估观看3DTV的视觉疲劳,对比主观调查表情况,得出对疲劳的识别平均准确率达到87%.因此采用脑电信号监测飞行员疲劳状态具有实际应用价值.目前脑电特征的提取方式主要集中在两个方面：基于脑电信号的时域和频域特征提取以及基于机器学习和深度学习的特征提取方法.基于时频的分析方法包含傅里叶变换(fourier transform,FT)、经验模态分解(empirical mode decomposition,EMD)、信号的熵信息以及小波变换等.Gino Slanzi等[11]提取了脑电信号的近似熵等特征,用逻辑回归预测实验者是否点击网页,准确率为71.09%;北京工业大学的李明爱等[12]利用小波包和熵准则提取对脑电信号的最优频段,作为支持向量机的输入向量,识别大脑想象下不同运动情况,准确率最高可达到81.75%.Shufang Li等[13]利用经验模态分解EMD[14]方法将脑电信号分解出固有模态函数(intrinsic mode functions,IMFs),提取了IMFs的变异系数和波动指数作为特征,并用支持向量机(support vector machine,SVM)作为分类器实现对脑电信号的分类.经验模态分解以及其改进的总体经验模态分解(ensemble empirical mode decomposition,EEMD)在脑电等信号的特征提取上有很重要的应用,但是其缺乏理论支持,基于此,J´erˆome Gilles[15]提出了经验小波变换(empirical wavelet transform,EWT),与EMD相比,EWT在信号以及图像的处理上都具有一定的优势.Abhijit Bhattacharyya等[16]利用经验小波变换识别癫痫病病灶区域的脑电信号,并取得了良好的效果.相较于基于人工经验的脑电信号特征提取方式,基于机器学习以及机器学习和人工经验相结合的脑电特征提取方法也在不断发展.Yu Zhang等[17]利用稀疏贝叶斯多通道典型相关分析实现对脑电信号特征识别;Abdulhamit Subasi等[18]利用小波变换提取脑电信号的特征并结合传统方法主成分分析(principal components analysis,PCA)、独立成分分析(independent component correlation algorithm,ICA)、潜在狄利克雷分配(latent dirichlet allocation,LDA)和SVM方法对特征数据降维以及分类,并对不同方法的结果进行比较分析.随着深度学习技术的不断完善,许多图像特征提取的方法也被应用在了脑电信号特征提取上,通过适当改变网络的结构都取得了不错的学习效果.Baldwin和Penaranda[19]提出自适应的人工神经网络通过提取脑电信号的特征来识别操作员的工作负荷状态;成都电子科技大学的严博等[20]利用稀疏自动编码器无监督地学习正常人和病患的脑电信号,并取得高达100%的识别率;哈尔滨工程大学的柴新等[21]利用自动编码器来识别人的情绪变化,识别率高达81.81%;Mehdi Hajinoroozi等[22]通过深度卷积神经网络分析脑电信号预测驾驶员的认知状态与驾驶行为.针对飞行员正常、微疲劳、极度疲劳状态下的脑电信号,不仅需要提取各自代表性信息,还需要去除冗余信息增加计算效率,以保障高效率高准确率的疲劳状态识别,达到及时告警目的.基于此,本文在稀疏自动编码器(sparse auto-encoder,SAE)的基础上,引入多层学习的方法,提出一种新的深度稀疏自编码网络[23](deep sparse auto-encoding network,DSAEN),以使提取到的特征能最大程度地代表原始脑电信号,计算效率得到最大限度优化.此外,为了实现飞行员不同疲劳状态的精确分类,通常需要在二分类的基础上在增加一对多或一对一的识别达到多分类的目的.Softmax分类器[24]是一种多分类器,是逻辑回归分类器的推广,通过最大似然估计求解分类模型,最大化保留不同类别的代表性特征,适合作为深度学习的顶层分类器,进行飞行员疲劳状态(非疲劳、微疲劳、极度疲劳)识别.通过以上分析,提出一种基于DSAEN-Softmax的飞行员脑电特征自学习和状态识别模型,并与单层的稀疏自编码网络-Softmax和传统PCA-Softmax模型比较,方案流程图如图1所示.图中SAEN(sparse autoencoding network)为单层稀疏自编码网络.图1 方案流程图Fig.1 Program flow chart2 DSAEN-Softmax模型2.1 自动编码器标准自动编码器(auto-encoder,AE)包含编码和解码两部分,分为3层,分别为输入层x、隐藏层h和输出层y.编码过程：通过非线性映射函数将输入变量x以一定的方式映射到隐层h,由此h 便成为了输入x的另一种表现形式.编码的原理为其中：x∈[0,1]d,h∈[0,1]d,W是d×d′的权重矩阵;b为输入层偏置向量;θ={W,b},s(·)为Sigmoid函数,如式(2)所示.解码过程：将隐藏层形成的编码h映射到输出层y,输出层具有和输入层相同的单元数,映射关系如下所示：式中：y∈[0,1]d,W′是隐藏层到输出层的权重矩阵,且有W ′=WT;b′为隐藏层的偏置向量;θ′={W ′,b′}.通过训练来调节参数θ和θ′,使得输入与输出之间重构误差函数-代价函数最小.传统AE采用的代价函数为均方误差(mean squared error,MSE),即式中：m为样本的数量;xi为输入向量;yi为输出向量;θ为网络中所有参数的集合.为解决AE中过拟合的问题,通常会在代价函数中增加一个权重衰减项,权重衰减项相当于对网络的权重矩阵做了一定的限制,代价函数变为式中：λ决定了权重衰减项在代价函数中所起的作用;l为网络的层数;sl为l层单元的个数;ωji为权重矩阵中角标为j,i的元素值.2.2 稀疏自动编码器由于AE学习到的抽象特征有冗余的缺陷,为了克服这一不足,在AE的基础上,增加L1的正则化限制,得到一种稀疏自动编码器(sparse auto-encoder,SAE).SAE在编码解码过程中,对其中大多数神经元进行稀疏约束,去除特征冗余情况.它通过对每个隐藏层单元的响应添加约束条件,使隐藏层的大多数神经元处于“抑制”状态,只有少数神经元处于“兴奋”状态,反映到数字模型中即通过向代价函数添加稀疏约束项来实现,SAE网络原理如图2所示.在AE的代价函数中,添加以下稀疏约束条件：式中：ρj为隐藏层单元神经元的平均激活度;ρ是人为设置的参数,一般比较小,从式(7)-(8)可看出,ρj和ρ越接近,代价函数就越小;β决定了稀疏约束项在代价函数中所起的作用.图2 SAE网络Fig.2 SAE network2.3 Softmax分类器Softmax分类是逻辑回归分类的一种扩展,在多分类问题上有很重要的应用.其通过最大似然估计求解分类模型,最大化地提取信息中本质特征,从而区分不同类别.记类标签y可以取r个不同的值,对于训练集{(x(1),y(1)),···,(x(m),y(m))},类标签为ym∈{1,2,···,r},r为分类数.对于给定的输入x(n),用假设函数hλ(x(n))针对每一类k 估算出概率值P=(y(n)=k|x(n)),k=1,···,r.hλ(x(n))输出一个r维列向量(和为1),每行表示当前类的概率.假定假设函数hλ(x(n))为hλ(x(n))=对于样本x(n),选择概率p(y(n)=k|x(n);λ)值最大的对应的类别k作为当前样本的分类标签,并与样本本身的标签做对比,如果一致则分类正确,否则分类错误,分类准确率(accuracy rate)可表示为2.4 DSAEN-Softmax模型深度稀疏自编码网络(deep sparse auto-encoding network,DSAEN)是由若干个SAE组成,原始数据作为第1层SAE的输入,逐层训练,训练好的L-1层的输出作为第L层的输入,能充分体现深度理论的优势,弥补传统浅层结构在有限样本以及计算单元的情况下对复杂函数的表示能力有限,对特征的学习以及泛化能力不足[25].在此基础上,建立一种基于DSAEN的飞行员疲劳状态识别框架,如图3所示,首先采用无监督训练方式,逐层训练DSAEN网络得到较为优化的网络权值,然后将这些权值作为整个模型的初始化参数值,通过在网络顶层附加Softmax分类器对整体网络参数进行进一步训练和细微调节.图3 DSAEN-Softmax模型框架Fig.3 Framework of DSAEN-Softmax model 3 脑电数据处理采集和处理的脑电数据来源于航空公司飞行员模拟飞行实验.实验使用BCI 2000系统,包含国际10-20系统中的64个参考电极,采样频率为160Hz,采集64通道的脑电信号,如图4所示.图4所示的脑电采集装置中F通道和P通道所在的区域采集的信号与人的精神兴奋程度密切相关,为了减少数据的冗余与计算量,根据相关文献[26-27],选择FP1通道的数据作为实验中主要处理的脑电信号数据.图4 64导的10-20系统Fig.4 64 channel of 10-20 system实验情形设置：飞行员模拟连续6小时的旧金山和洛杉矶之间来回飞行,持续飞行时间段为8：00～14：00,随着飞行时间的增加,飞行员的身体会呈现不同的疲劳状态.分别截取不同时段作为非疲劳、微疲劳、极度疲劳状态的数据集.共有40名飞行员(身体素质良好,且有3年以上飞行经验)参与飞行实验.实验采集40个飞行员的脑电数据,包含40个非疲劳信号的数据,40个微疲劳信号的数据和40个极度疲劳信号的数据,共120个数据.每个飞行员产生的数据集含代表非疲劳、微疲劳和极度疲劳3种状态的3个信号矩阵,每个信号矩阵维度为64×192000,从采集得到的信号数据中选择FP1通道的脑电信号数据作为一个样本.将数据集进行如下划分：1)40个非疲劳信号矩阵,按4：1进行划分,32个数据集作为训练样本,8个数据集作为测试样本;2)40个微疲劳信号矩阵,按4：1进行划分,32个数据集作为训练样本,8个数据集作为测试样本;3)40个极度疲劳信号矩阵,按4：1进行划分,32个数据集作为训练样本,8个数据集作为测试样本.3.1 脑电信号预处理由于脑电信号具有较强的时变敏感性,在采集过程中掺杂大量噪声,在分类识别之前需进行滤波处理.一般,脑电信号的基本特征包括频率、周期、幅值、相位等,其中频率特性具有突出的特点.根据频率和幅值的特性,脑电信号主要可分为δ波(0.5～4Hz)、θ波(5～ 8Hz)、α波(7～ 14Hz)和β波(14～ 30Hz).不同特性的波在不同的状态下信号的表现不同[28],如成人清醒状态下几乎不会出现,只有睡眠时才会出现δ波;θ波属于正常儿童的脑电图主要成分,但对于成年人,在神经系统被抑制时会增多,可以作为抑郁和困倦的检测指标等.采用滤波变换,提取出α波(7～14Hz)、δ波(0.5～4Hz)、θ波(5 ～ 8Hz)和β波(14 ～ 30Hz)这4种节律波段,再对4种节律波段加和组合成脑电信号,如图5所示.由图可见,原始的脑电信号中不仅包含4种基本节律波段,还包含有频率较高的与疲劳状态识别无关的成分,在经过滤波变换后所得到的频谱图中,高频信号已经被滤除,得到了符合需要的较纯净的脑电信号.图5 原始脑电信号滤波分解重组Fig.5 The decomposition and reconstruction of the original electroencephalogram signals with filters根据得到的4种基本节律,有基于脑电信号节律的疲劳指标[29]：这4个指标是根据不同节律功率谱的比值计算得到的,相关节律的功率谱计算公式为PS(f)表示功率谱密度在功率f处的振幅.基于脑电信号节律功率谱曲线面积的疲劳指标趋势如图6所示.图6中(a)(b)分别表示在非疲劳状态和疲劳状态下脑电信号节律的4个指标在窗口数为20(即将脑电信号分为20段,分别求每段信号的功率谱比值)的情况下功率的谱比值.在不同的疲劳状态下,脑电信号的4个指标功率比值有较明显的差别.图6 基于功率谱密度曲线面积的4个特征Fig.6 Four features based on power spectrum density curve3.2 识别模型的搭建由于深度网络具有的优势,一般情况下,较多的隐含层往往会带来较好的特征学习效果,但是会导致模型过过于复杂,计算量较大甚至产生过拟合的问题.针对本实验,本文搭建了不同层数的深度稀疏自编码网络观察层数对于识别正确率的影响.为了避免网络的节点数对实验产生的影响,截取原始的输入数据为1600维,同时设置每层隐含节点数160个,分别搭建含1-7层隐含层的网络,得到平均识别正确率如图7所示. 由图7可知,随着隐含层数的增加,识别的正确率也在增加,考虑到实际输入的数据维度较大,选择含有3层隐含层的稀疏自编码网络.输入信号维度为19200维,设置不同的隐含层节点数,得到的识别结果如图8所示.由图8可知,在3层的隐含层情况下,隐含层节点数维3000-800-200时,识别准确率较高可以达到0.9以上,相较于其他的节点数可以获得更好的识别准确率.因此,在实验中选择搭建隐含层为3000-800-200的稀疏编码网络.图7 不同隐含层的识别正确率Fig.7 Recognition accuracy rates with different hidden layers图8 不同隐含层节点数的识别正确率Fig.8 Recognition accuracy rates with different hidden units以MATLAB为编程工具,对预处理后的脑电信号矩阵进行DSAEN处理,本文设置各个SAE的参数：隐含层数=3,稀疏比例=0.05,L2正则化系数=0.001,稀疏正则化系数=4,并将特征提取的结果作为Softmax分类器输入的优化特征,对DSAEN-Softmax进行有监督训练.最终再将测试集的数据输入模型得到疲劳状态的识别结果.3.3 疲劳识别根据DSAEN-Softmax模型的原理,研究实现了飞行员疲劳状态识别,具体技术路线如图9所示.首先,对飞行员脑电信号进行降噪滤波预处理,获取脑电动态节律;其次,提取4个节律的频域特征(如图6所示)作为DSAEN模型的输入向量,进行多层网络学习,得出飞行员疲劳状态的抽象特征;最后,再把抽象特征作为顶层分类器Softmax 输入,进行有监督的训练学习,同时对DSAEN的网络参数进行微调.最终将测试集中的数据输入到网络中,完成对飞行员疲劳状态识别判断.基于DSAEN-Softmax模型的识别结果如表1所示,根据识别的结果,在39维的情况下,平均识别正确率可以达到97.5%,此时的识别效果最好,随着最终特征提取的维度下降,识别的准确率在下降,模型的稳定性也不断下降.本文使用单层的稀疏自编码网络(SAEN)对预处理后的脑电信号进行特征提取,最终分别得到在39维、20维、10维、3维状态下的识别结果.相较于深层次的网络,该模型的识别效果有明显的下降.最高的平均识别正确率维69.2%,说明深层次的网络可以更好的完成原始信号的特征学习.考虑到PCA作为一种简单且易用的数据降维方法,笔者设计了PCA-Softmax模型对预处理后的脑电数据进行特征提取以及分类识别.结果显示PCA模型的分类识别正确率较低,最高仅为31.7%.且随着维度的下降,几次实验中识别正确率的波动也比较大.由图10所示,在相同的维度下,DSAEN模型具有较好的识别效果,而PCA的特征提取在该实验中的结果较差.在样本数据有限的情况下,本文提出的深度稀疏自编码网络对于脑电信号特征有更强的学习及泛化能力.图9 脑电信号处理程序流程图Fig.9 The flow chart of electroencephalogramsignals processing program表1 不同模型及不同维度下的识别正确率Table 1 Recognition accuracy rates with different models and different dimensionsDSAEN SAEN PCA 0.975 0.692 0.317 39维(± 0.025) (± 0.077) (± 0.181)20维0.925 0.617 0.276(± 0.051) (± 0.039) (± 0.083)10维0.85 0.357 0.208(± 0.108) (± 0.093) (±0.136)3维0.5 0.25 0.208(± 0.22) (± 0.073) (± 0.182)图10 不同模型在不同降维维度的识别正确率Fig.10 Recognition accuracy rates with different models and different dimensions4 结束语基于任务的飞行员疲劳状态下的脑电信号,经滤波变换重组后,表征飞行员疲劳特征时频成分都被作为深度学习的输入向量,而不是传统的人工提取几个特征作为分类器的输入向量,因此,所提的方法最大限度弥补人为研究经验的不足.同时,实验结果也显示,在样本数据有限的情况下该模型能够高准确率且稳定的地识别出飞行员疲劳状态,具有较高实用价值.对比单层的SAEN-Softmax模型和传统方法PCASoftmax模型的实验结果,所提出基于DSAENSoftmax的飞行员疲劳状态识别模型,能够在无监督状态下自主学习不同状态下飞行员脑电动态节律特征,最大程度地提取出表征飞行员非疲劳、微疲劳、极度疲劳状态下的抽象特征,平均识别准确率高达97.5%,高于单层SAEN-Softmax模型和传统PCASoftmax模型.因此,基于DSAEN-Softmax的飞行员疲劳状态识别方法具有较好的实验效果和可行性. 参考文献:【相关文献】[1]CALDWELL J A,MALLIS M M,CALDWELL J L,et al.Fatigue countermeasures inaviation.Aviation Space&Environmental Medicine,2009,80(1)：29-59.[2]AVERS K,JOHNSON W B.A review of federal aviation administration research：research：transitioning scienti fic results to the aviation industry.Aviation and Applied Human Factors,2011,1(2)：87-98.[3]SUN Ruishan,ZHAO Qing.Study on ECAR model for human error analysis of aviation accident/incident.China Safety Science Journal,2012,22(2)：17-22.(孙瑞山,赵青.航空人为差错事故/事件分析(ECAR)模型研究.中国安全科学学报,2012,22(2)：17-22.)[4]SURAWEERAP,WEBB G I,EVANS I,et al.Learning crew scheduling constraints constraints from historical schedules.Transportation Research Part C EmergingTechnologies,2013,26(1)：214-232.[5]REIS C,MESTRE C,CANH˜AO H.Prevalence of fatigue in a group of airline pilots.Aviation Space&Environmental Medicine,2013,84(8)：828-33.[6]BONGERS P M,HULSHOF C T,DIJKSTRA L,et al.Bacflowsin and exposure to whole body vibration in helicopter pilots.Ergonomics,1990,33(8)：1007-1026.[7]LIU Junjie,ZHANG Lijuan.Semantic network analysis of flight fatigue events.China Safety Science Journal,2016,26(1)：34-39.(刘俊杰,张丽娟.飞行疲劳事件语义网络分析.中国安全科学学报,2016,26(1)：34-39.)[8]BORGHINI G,ASTOLFI L,VECCHIATO G,et al.Measuring neurophysiological signals in aircraft pilots and car drivers for the assessment of mental workload,fatigue and drowsiness.Neuroscience &Biobehavioral Reviews,2014,44：58-75.[9]GHAEMI A,RASHEDI E,POURRAHIMI A M,et al.Automatic channel selection in EEG signals for classification of left or right hand movement in brain computer interfaces using improved binary gravitation search algorithm.Processing and Control,2017,33：109-118. [10]CHEN C,WANG J,LI K,et al.Assessment visual fatigue of watching 3DTV using EEG power spectral parameters.Displays,2014,35(5)：266-272.[11]SLANZI G,BALAZS J A,VEL´ASQUEZ J bining eye tracking,pupil and EEG analysis for predicting web users click rmation Fusion,2017,35：51-57.[12]LI Ming’ai,MA Jianyong,YANG Jinfu.Optimal frequency band extraction method based on wavelet packet and entropy criterion.Chinese Journal of Scientific Instrument,2012,33(8)：1721-1728.(李明爱,马建勇,杨金福.基于小波包和熵准则的最优频段提取方法.仪器仪表学报,2012,33(8)：1721-1728.)[13]LI S,ZHOU W,YUAN Q,et al.Feature extraction and recognition of ictal EEG using EMD and puters in Biology&Medicine,2013,43(7)：807-816.[14]HUANG N E,SHEN Z,LONG S R,et al.The empirical mode decomposition and the Hilbert spectrum for nonlinear and nonstationary time series analysis.Proceedings of the Royal Society of London A:Mathematical,Physical and EngineeringSciences,1998,454(1971)：903-995.[15]GILLES J.Empirical wavelet transform.IEEE transactions on signalprocessing,2013,61(16)：3999-4010.[16]BHATTACHARYYA A,SHARMA M,PACHORI R B,et al.A novel approach for automated detection of focal EEG signals using empirical wavelet transform.Neural Computing and Applications,2018,29(8)：47-57.[17]ZHANG Y,ZHOU G,JIN J,et al.Sparse Bayesian multiway canonical correlation analysis for EEG pattern recognition.Neurocomputing,2017,225：103-110.[18]SUBASI A,GURSOY M I.EEG signal classification using PCA,ICA,LDA and support support vector machines.Expert Systems with Applications,2010,37(12)：8659-8666. [19]BALDWIN C L,PENARANDA B N.Adaptive training using an artificial neural networkand EEG metrics for within-and cross-task workload classification.NeuroImage,2012,59(1)：48-56.[20]YAN B,WANG Y,LI Y H,et al.An EEG signal classification method on sparse auto-encoders and support vector machine.International Conference on Communication in China.Chengdu：IEEE,2016：1-6.[21]CHAI X,WANG Q,ZHAO Y,et al.Unsupervised domain adaptation techniques techniques based on auto-encoder for non-stationary EEG-based emotion puters in Biology&Medicine,2016,79：205-214.[22]HAJINOROOZI M,MAO Z,JUNG T P,et al.EEG-based prediction of driver’s cognitive performance by deep convolutional neural network.Signal Processing:Image Communication,2016,47：549-555.[23]HINTON G E,SALAKHUTDINOV R R.Reducing the dimensionality of data with neural networks.Science,2006,313(5786)：504-507.[24]PATRICHE C V,PIRNAU R,GROZAVU A,et al.A comparative analysis of binary logistic regression and analytical hierarchy process for landslide susceptibility assessment in the dobrov,river basin,romania.Pedosphere,2016,26(3)：335-350.[25]LECUN Y,BENGIO Y,HINTON G.Deep learning.Nature,2015,521(7553)：436-444.[26]ZHANG Chi.Research of driver fatigue detection technology based on EEG EMG and EOG.Shenyang：Northeastern University,2012：15-25.(张驰.基于脑/肌/眼电的疲劳驾驶检测技术的研究.沈阳：东北大学,2012：15-25.)[27]LI P,JIANG W,SU F.Single-channel EEG-based mental fatigue detection based on deep belief network.International Conference of the IEEE Engineering in Medicine and Biology Society.Orlando：IEEE,2016：367-370.[28]JI Q,ZHU Z,LAN P.Real-time nonintrusive monitoring and prediction of driver driver fatigue.IEEE Transactions on Vehicular Technology,2004,53(4)：1052-1068.[29]JAP B T,LAL S,FISCHER ing EEG spectral components to assess algorithms for detecting fatigue.Expert System with Applications,2009,36(2)：2352-2359.。
2013 科学技术与工程 稀疏自动编码器在文本分类中的应用研究_秦胜君
科
学
技
术
与
工
程
Science Technology and Engineering
Vol. 13 No. 31 Nov． 2013 2013 Sci. Tech. Engrg.
稀疏自动编码器在文本分类中的应用研究
随着网络技术的不断发展， 互联网成为了人们 发布和获取文本信息的重要途径。 然而， 文本数量 持续地递增， 使文本排序变得杂乱无章， 人们很难 如何对大量 快速而准确地获取所需的信息。 因此， 的文本进行有效的组织， 帮助用户尽快找到所需的 信 息成 为 当 代 信 息 科 学 技 术 领 域 的 重 要 研 究 课题
图2 DBN 结构图
发平台为 eclipse。 3. 2 分类性能评价 P） 文本分类的性能评价采用准确率 （ precision， Ｒ ） 两个指标进行评估。 和召回率（ racall， P = a a ； Ｒ = 。 a +b a +c
DBN 的训练最开始通过对比分歧 （ contrastive divergence） 方法进行预训练获得生成模型的权值。 然后使用 Gibbs 采样， 隐含层单元和可视层输入之 间的相关性差别作为权值更新的主要依据 。 使用 Gibbs 采样之后， 训练时间会显著减少， 只需要单个 步骤就可以接近最大似然学习， 降低了网络训练时 DBN 通过利用带标签数据对判别性 间。另一方面， 能做调整， 在分类任务中， 其性能比单纯的 BP 算法 训练的网络好。DBN 的训练是一个复杂的过程， 在 8］ 。 此不再详述， 详情可参见文献［ 通过 SEA 算法可以获取输入数据特征， 而 DBN 具有较好的分类效果。因此， 本文结合 SEA 和 DBN 算法， 形成 SD 算法进行文本分类， 整个算法主要过 程描述如下：
基于改进堆叠稀疏降噪自编码器的轴承故障诊断
•36•基于改进堆叠稀疏降噪自编码器的轴承故障诊断张智恒，周凤星,严保康，喻尚(武汉科技大学信息科学与工程学院，武汉430081)摘要:为提高堆叠稀疏降噪自编码器的性能,解决其计算复杂度高、收敛速度慢等问题，提岀了一种基于堆叠边缘化稀疏降噪自编码器的滚动轴承故障诊断方法。
首先,对稀疏降噪自编码器的损失函数进行边缘化处理，并结合逐层贪婪训练策略构建出SMSDAE网络;然后，将SMSDAE网络与Softmce分类器结合，得到SMSDAE-Softmx特征提取模型;最后，将提取到的特征输入到SVM多分类器中完成对滚动轴承的智能故障诊断。
QPZZ-□旋转机械故障模拟试验平台所得故障信号的处理结果表明，该方法的平均故障诊断率达到了99.9%，相对于其他方法具备更快的收敛速度，更好的诊断效果，以及更强的鲁棒性。
另外，采用美国西储大学轴承数据中心4种轴承故障信号进行分析，结果证明了该方法在面对不同类型轴承以及多种故障信号时具备良好的诊断性能，有一定的普适性。
关键词:滚动轴承;故障诊断;堆叠边缘化稀疏降噪自编码器;深度学习中图分类号:TH133.33；TP077文献标志码：B DOI：10.19533/j.issnl000-3762.9001.02.208Fauth Diagnosit for Beeringt Based on Improved StackedSparsu Denoising Auta-EncaderZHANG Zhideog,ZHOU Feogxinx,YAN Baodang,YU Shang(School of Information Science and Engineering, Wudan Uni v ers i th of Science and Technologb,Wudan432081,China)Abstroct:To improve the peOormancc o f the staded Sparse Denoising Auto-Encoder(SDAE)and figure out high computahonai complexity and slow converoenco speed,a fault diagnosis method for rolling bearings based on the $11X60Marginalized Sparse Denoising Auto-Encoder(SMSDAE)is00X000.Fimhy,marginahea the loss functionof SDAE and combined the stmtegy of layer-by-layer gmedy training to built a SMSDAE netword.Then combine the SMSDAE netword with the emssifier to yet the SMSDAE-feature extraction model.Finahy,input the extracted features into the SVM multi-emssifier to complete the intelligent fault diagnosis of rolling bearings.The processing results of the fault signals odtained by the QPZZ-H mtating machinem fault simulahon test pmeorm show that the average fault diagnosis rate of the method reaches99.9%.Comparing with other methods,the faster convergence speed,better diagnosis effect and stmnger mdustness are0X0X60.In addition,using the Bearing Data Center of West-era Reserve Univemith to analyze ten kinds of bearing fault signals:the results prove that the method pmposeP has good diagnostic peOormancc when facing different types of bearings and multiple fault signals:and has certain uni v ersa/ty. Key wordt:rolling bearing；fault diagnosis;stacOed maryinalizeO sparse denoising auto-encoder;deep learning滚动轴承被称为“工业的关节”，在旋转机械中广泛应用。
基于自动编码器组合的深度学习优化方法
基于自动编码器组合的深度学习优化方法作者：邓俊锋张晓龙来源：《计算机应用》2016年第03期摘要：为了提高自动编码器算法的学习精度，更进一步降低分类任务的分类错误率，提出一种组合稀疏自动编码器（SAE）和边缘降噪自动编码器（mDAE）从而形成稀疏边缘降噪自动编码器（SmDAE）的方法，将稀疏自动编码器和边缘降噪自动编码器的限制条件加载到一个自动编码器（AE）之上，使得这个自动编码器同时具有稀疏自动编码器的稀疏性约束条件和边缘降噪自动编码器的边缘降噪约束条件，提高自动编码器算法的学习能力。
实验表明，稀疏边缘降噪自动编码器在多个分类任务上的学习精度都高于稀疏自动编码器和边缘降噪自动编码器的分类效果；与卷积神经网络（CNN）的对比实验也表明融入了边缘降噪限制条件，而且更加鲁棒的SmDAE模型的分类精度比CNN还要好。
关键词：深度学习；自动编码器；稀疏自动编码器；降噪自动编码器；卷积神经网络中图分类号： TP392 文献标志码：A0引言自动编码器（AutoEncoder， AE）[1-2]是Rumelhart 在1986年提出来的，其主要目的是对于一个给定的数据集学习压缩的、分布式的特征表达。
自动编码器是一个典型的三层结构的神经网络，输入层和隐藏层之间是一个编码的过程，隐藏层和输出层之间是一个解码的过程，通过对输入数据进行编码操作来获得输入数据的一种编码表示，通过对隐藏层的编码表示作解码操作来获得输入数据的重构，定义重构误差函数来衡量自动编码器学习算法的学习效果。
在自动编码器的基础上加上一些约束条件（constraint condition）可以产生变形自动编码器。
自动编码器结构如图1所示。
稀疏自动编码器（Sparse AutoEncoder， SAE）[3-4]是Bengio等在2007年提出来的，它要求隐藏层上神经元激活度满足一定的稀疏性。
该算法在重构误差函数（reconstruction error function）中加入一个额外的惩罚因子，来达到稀疏性限制。
基于堆栈稀疏自编码器的齿轮箱故障诊断
验小波变换解决了 Fourier频谱中复杂边带的分析问 题;时培明⑷利用分形维数和GA-SVM实现了风电机 组中齿轮箱的故障诊断;刘景艳⑸提出ELman神经网
集成与控制重点实验室，重庆400074)
摘要:针对当前齿轮箱故障诊断需要进行复杂的特征提取以及识别准确率不高等问题 ，提出了一种基于堆
栈稀疏自编码器(SSAE)的齿轮箱故障诊断方法,采用时域分析对故障信号进行特征预处理,然后 将其输入稀疏自编码器网络中进行特征优化以及降维 ，提取出表征信号本质信息的特征 ，最后将其
深度学习是近几年应用比较广的一种分类模型，其 本质是构造含有多层次非线性的神经网络，它能对输入 的数据进行进一步深层特征提取,以提取出能表征样本 数据的本质信息。刘秀丽宓通过将时域信号输入深度信
*国家自然基金项目(51775072)；重庆市基础与前沿研究计划项目(cstc2016jcyjA0526 )；重庆市教委科学技术研究项目(KJ1600519)
输入到Softmax分类器中实现齿轮箱故障的分类。实验结果表明，该方法在相同工况和混合工况下 的均能达到较高的识别精度，在混合工况下，其识别精度达到99.5%,高于文中提出的其他模型，因 此该方法能有效地用于齿轮箱故障诊断。
关键词:齿轮箱故障;稀疏自编码器;特征优化;故障诊断
中图分类号:TP216.TH83
文献标识码:A
DOI: 10.19287/j. cnki. 1005-2402.2020.05.007
基于SAE的MRI图像检索系统
网络 ，它的输出可看作 是输入数据经过多次降维后的特 征
表示Ｅ３一ｓ］。ＡＥ是一种单 隐层无监督学习神经网络，通过对输
入信号的近似复现，从而得到输入信号 的表示 ，即特征 。
使输出 尽可能地重构输入Ｘ，即：
ｉ ｌｘ一譬ｌ
（１）
利用线性代数 中基 的概念 ，即：
黛 ａｔ 霸ｌ＋
＋… ＋
其 中毋ｉ是基 ， 是系 数，我们求解公 式 （１）这个最
优化 式子 ，可 以得 到口ｉ和 ，这时候我们 就得到 了输入ｘ 的一种近似表达 了，即隐含层 的输 出，它可看作输入ｘ降
维后 的低维特征 。
在 自动 编码器 的基础上 加上一 些Ｌ１的Ｒｅｇｕ１ａｒｉｔｙ限
制，这时公式 （１）可 以写为：
１ 基 于ＳＡＥ的 ＭＲＩ图像 检索 系 统结构
本 文 的图像检 索系统 主要分 为两个 模块 ：特征提 取 和查 询模块 ［引。如 图１所示 。该 图像检索系统主 要完成两 个方面的 内容： （１）对 图像数据 中包含对应语义 的ＭＲＩ图 像 的检索 ； （２）对 检索 结果 的ＭＲＩ图像对应 语义 内容的 区域进行标 识 。其 中，预 处理步骤包括 ： （１）对不 同尺 寸大 小的ＭＲＩ图像进 行格 式和尺 寸大小 的统一 ； （２）对 ＭＲＩ图像进行分块 。特征提 取步骤是对分块 图像 的特征提 取 ，本 文采用无监督学 习的ＳＡＥ方法进行特 征提 取并建立 模 型 。在 查询模 块 中，用户使 用指定 的语义 对欲查 询 图 像 数据进 行查询 ， 图像 数据在 建立 的特征提 取模 型进行 特征 提取 ，并采用ＢＰ网络对所 提取 的特征分 类 ，最终返 回符合语义 的ＭＲＩ图像 。
ＥＬＥＣＴＲＯＮＩＣＳ ＷＯＲＬＤ·技术 交流
pytorch 稀疏自编码器sae 损失函数
pytorch 稀疏自编码器sae 损失函数稀疏自编码器是一种特殊的神经网络，它可以将输入数据压缩成一个稀疏的表示，并且可以用这个表示来重构输入数据。
在PyTorch 中，我们可以使用nn.Module创建一个稀疏自编码器，并且使用自定义的损失函数来训练模型。
稀疏自编码器的损失函数通常使用两个部分：重构误差和稀疏惩罚。
重构误差是指原始输入数据和重构的数据之间的误差，稀疏惩罚是一种正则化项，用于强制模型学习稀疏的表示。
下面是PyTorch稀疏自编码器的损失函数示例代码：```import torch.nn as nnclass SparseAutoencoderLoss(nn.Module):def __init__(self, sparsity_penalty=0.01, reconstruction_weight=0.5):super(SparseAutoencoderLoss, self).__init__()self.sparsity_penalty = sparsity_penaltyself.reconstruction_weight = reconstruction_weightself.mse_loss = nn.MSELoss(reduction='sum')def forward(self, output, target, hidden):reconstruction_loss = self.mse_loss(output, target)sparsity_loss = torch.mean(hidden, dim=0)sparsity_penalty = self.sparsity_penalty *torch.sum(sparsity_loss)loss = reconstruction_loss + sparsity_penaltyreturn loss```在这个例子中，我们首先定义了一个SparseAutoencoderLoss类，它继承自nn.Module。
稀疏自编码数据融合算法
稀疏自编码器（Sparse Auto-Encoder，SAE）是一种深度学习算法，它可以通过学习数据的有用特征来对数据进行降维和重建。
在数据融合方面，稀疏自编码器可以有效地提取数据中的隐含特征，并与其他辅助信息进行融合，从而提高推荐的准确性和精度。
一个典型的稀疏自编码器包括一个编码器和一个解码器。
编码器负责从输入数据中学习隐含特征，解码器则负责根据学习到的隐含特征重建输入数据。
在训练过程中，稀疏自编码器通过优化损失函数（如均方误差）来学习数据的有用特征。
在数据融合算法中，稀疏自编码器可以与其他算法（如关联规则挖掘、聚类等）相结合。
以关联规则挖掘为例，可以利用稀疏自编码器学习数据中的关联规则，并将学习到的规则与其他辅助信息（如用户评分、评论等）进行融合，从而提高推荐的准确性。
此外，稀疏自编码器还可以与其他聚类算法（如K-means、DBSCAN等）相结合，通过学习数据的隐含特征来提高聚类的性能。
具体而言，首先使用稀疏自编码器学习数据的有用特征，然后将这些特征作为输入进行聚类分析。
实验结果表明，与传统的聚类算法相比，稀疏自编码器与其他聚类算法的结合可以获得更好的聚类效果。
稀疏自编码器SAE
DL Model
• 自动编码器（ห้องสมุดไป่ตู้utoEncoder） 稀疏自动编码器（Sparse AutoEncoder） 降噪自动编码器（Denoising AutoEncoders）
• 限制波尔兹曼机（Restricted Boltzmann Machine）
• 深信度网络（Deep Belief Networks） • 卷积神经网络（Convolutional Neural Networks）
Sparse AutoEncoder
为什么能稀疏？
1、减小编码后隐藏层神经元个数。 比如，后一层比前一层神经元个数少。
2、隐藏层的任何一个神经元不应该总是高度激活 。
怎么衡量某个隐藏神经元的激活度？
取平均就好了
Sparse AutoEncoder
为隐藏单元 j 的平均激活值
(2) (2) (2) ˆ ˆ ˆ a a a 1 3 3 如左图， 1 2 2
征，以发现数据的分布式特征表示。
• 特点：通过构建多隐层的模型和海量训练数据，来学习
更有用的特征，从而最终提升分类或预测的准确性。
一般含多隐层的多层感知器就是一种深度学习结构。
DL Model
“深度模型”是手段，“特征学习”是目的。 DL强调模型结构的深度，通常有5-10多层的 隐层节点，
BP、SVM是只含有一层隐层节点的浅层模型。
autoencoder将input输入一个encoder编码器就会得到一个code这个code也就是输入的一个表示再加一个decoder解码器这时候decoder就会输出一个信息那么如果输出的这个信息和一开始的输入信号input是很像的理想情况下就是一样的就有理由相信这个code是靠谱的
基于堆叠稀疏自动编码器的手写数字分类
基于堆叠稀疏自动编码器的手写数字分类林少飞;盛惠兴;李庆武【摘要】将稀疏自动编码器（Sparse Autoencoder，SAE ）模型应用于数字识别中，并通过多个稀疏自动编码器的堆叠构建了深度网络，采用非监督贪婪逐层训练算法（Greedy Layer －Wise Unsu-pervised Learning Algorithm）初始化网络权重，使用反向传播算法优化网络参数。
利用堆叠稀疏自动编码器学习数字图像的特征，使用 softmax 分类器进行数字分类。
经实验证明，与其它浅层学习模型对比，深度网络不仅进一步学习了数据的高层特征，同时还降低了特征维数，提高了分类器的分类精度，最终改善了手写数字的分类效果。
%In this paper,the sparse autoencoders (Sparse Autoencoder,SAE)model is applied to the digital recognition,and a deep network is constructed by stacking a plurality of sparse autoencoders, using Greedy Layer -Wise Unsupervised Learning algorithm to initialize the weights of the network and back propagation algorithm to optimize the parameters of the network .The stacked sparse autoencoders are used to learn the features of the digital image,and the softmax classifier is used to conduct the digital classification.The experiments show that,comparing with other shallow learning models,the deep network not only studies the high -level features of the data,but also reduces the feature dimension and improves the precision of the classifier,which finally improves the classification effect of handwritten digits.【期刊名称】《微处理机》【年(卷),期】2015(000)001【总页数】5页(P47-51)【关键词】堆叠稀疏编码器;非监督贪婪逐层训练;反向传播算法;softmax 分类器【作者】林少飞;盛惠兴;李庆武【作者单位】河海大学物联网工程学院，常州213022;河海大学物联网工程学院，常州 213022;河海大学物联网工程学院，常州 213022【正文语种】中文【中图分类】TP391手写数字识别（Handwritten Numeral Recognition，简称HNR）是模式识别学科的一个传统研究领域，主要研究如何利用计算机自动辨识手写的阿拉伯数字。
系统学习深度学习（二）--自编码器，DA算法，SDA，稀疏自编码器
系统学习深度学习（⼆）--⾃编码器，DA算法，SDA，稀疏⾃编码器起源：PCA、特征提取....随着⼀些奇怪的⾼维数据出现，⽐如图像、语⾳，传统的统计学-机器学习⽅法遇到了前所未有的挑战。
数据维度过⾼，数据单调,噪声分布⼴，传统⽅法的“数值游戏”很难奏效。
数据挖掘？已然挖不出有⽤的东西。
为了解决⾼维度的问题，出现的线性学习的PCA降维⽅法，PCA的数学理论确实⽆懈可击，但是却只对线性数据效果⽐较好。
于是，寻求简单的、⾃动的、智能的特征提取⽅法仍然是机器学习的研究重点。
⽐如LeCun在1998年中就概括了今后机器学习模型的基本架构。
当然CNN另辟蹊径，利⽤卷积、降采样两⼤⼿段从信号数据的特点上很好的提取出了特征。
对于⼀般⾮信号数据，该怎么办呢？？Part I ⾃动编码器（AutoEncoder）⾃动编码器基于这样⼀个事实：原始input（设为x）经过加权（W、b)、映射（Sigmoid）之后得到y，再对y反向加权映射回来成为z。
通过反复迭代训练两组（W、b），使得误差函数最⼩，即尽可能保证z近似于x，即完美重构了x。
那么可以说正向第⼀组权（W、b）是成功的，很好的学习了input中的关键特征，不然也不会重构得如此完美。
结构图如下：从⽣物的⼤脑⾓度考虑，可以这么理解，学习和重构就好像编码和解码⼀样。
这个过程很有趣，⾸先，它没有使⽤数据标签来计算误差update参数，所以是⽆监督学习。
其次，利⽤类似神经⽹络的双隐层的⽅式，简单粗暴地提取了样本的特征。
这个双隐层是有争议的，最初的编码器确实使⽤了两组（W，b），但是Vincent在2010年的中做了研究，发现只要单组W就可以了。
即W'=WT, W和W’称为Tied Weights。
实验证明，W'真的只是在打酱油，完全没有必要去做训练。
逆向重构矩阵让⼈想起了逆矩阵，若W-1=WT的话，W就是个正交矩阵了，即W是可以训成近似正交阵的。
由于W'就是个酱油，训练完之后就没它事了。
基于稀疏自编码的手指静脉图像分割
基于稀疏自编码的手指静脉图像分割秦华锋;刘霞【摘要】针对获取的手指静脉图像不仅包含静脉特征,而且包含噪声和不规则阴影,从而增加了特征提取难度的问题,提出了一种基于稀疏自编码的手指静脉图像分割算法;首先采用传统分割算法对原始灰度图像进行分割,得到一副二值图像(背景像素值为0,静脉像素值为1);然后,以该灰度图像的每个像素点为中心,对其进行图像分块,并将二值图像中对应于中心点的值(0或者1)作为该块的标签,建立训练集合;最后,将训练样本(分块图像和标签)输入到自编码器和神经网络中进行训练,再用训练好的模型对测试图像进行分割;实验结果表明,相比传统的算法,提出的手指静脉分割算法能够有效地对静脉进行分割,提高手指静脉认证系统的认证精度.【期刊名称】《重庆工商大学学报（自然科学版）》【年(卷),期】2019(036)004【总页数】8页(P1-8)【关键词】手指静脉;图像分割;稀疏自编码器【作者】秦华锋;刘霞【作者单位】重庆工商大学计算机科学与信息工程学院,重庆400067;重庆工商大学智能制造服务国际科技合作基地,重庆400067【正文语种】中文【中图分类】O231.30 引言近年来，随着计算机以及网络技术的迅速发展，信息安全变得越来越重要，社会对信息安全的要求在不断提高，企业对信息安全的保护意识也在不断加强，身份识别系统也就应运而生。
当前，个人身份鉴别主要依靠ID卡和密码等方式，但这些方式存在着容易丢失、遗忘、被复制和破解等安全性差的问题[1]。
因此，生物特征识别技术作为一种更加安全可靠的身份识别方法，逐步取代了传统的身份识别方式[2]。
在生物特征识别方式中，有指纹识别[3]、掌纹识别[4]、面部识别[5]、虹膜识别[6]、静脉识别[7]等。
由于手指静脉存储于手指内部，不易被盗取，识别时接触少甚至勿需接触，且活体才能检测到静脉图像特征，因此手指静脉识别具有更高的安全性。
由于手指静脉图像质量受多种因素如环境光、环境温度、光散射的影响，因此手指静脉识别是一个挑战性的问题。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
征，以发现数据的分布式特征表示。
• 特点：通过构建多隐层的模型和海量训练数据，来学习
更有用的特征，从而最终提升分类或预测的准确性。
一般含多隐层的多层感知器就是一种深度学习结构。
DL Model
“深度模型”是手段，“特征学习”是目的。 DL强调模型结构的深度，通常有5-10多层的 隐层节点，
BP、SVM是只含有一层隐层节点的浅层模型。
Training Algorithm
自动地学习特征 第一步：采用自下而上的无监督学习 1）逐层构建单层神经元，
2）每层采用wake-sleep算法进行调优。每次仅调整一层，
逐层调整。 （对事物的理解是思维的演绎，梦境是对认知的生成，演 绎和生成相互纠错，使得人对事物的理解更接近事物的真 相。）
Training Algorithm
Sparse AutoEncoder
为什么能稀疏？
1、减小编码后隐藏层神经元个数。 比如，后一层比前一层神经元个数少。
2、隐藏层的任何一个神经元不应该总是高度激活 。
怎么衡量某个隐藏神经元的激活度？
取平均就好了
Sparse AutoEncoder
为隐藏单元 j 的平均激活值
(2) (2) (2) ˆ ˆ ˆ a a a 1 3 3 如左图， 1 2 2
AutoEncoder 将input输入一个encoder编码器，就会得到一个code，这 个code也就是输入的一个表示，再加一个decoder解码器 ，这时候decoder就会输出一个信息，那么如果输出的这 个信息和一开始的输入信号input是很像的（理想情况下就 是一样的），就有理由相信这个code是靠谱的。所以，通 过调整encoder和decoder的参数，使得重构误差最小，就 得到了输入input信号的第一个表示了，也就是编码code 了。
类似于
加入正则化项（权重衰减项，weight decay），如下式：
Sparse Autoencoder
Sparse Autoencoder
我们添加一个额外的惩罚项来最优化目标函数。
即：
ˆ j 偏离 的程度进行惩罚 该式的另外一个作用是：对
其中，KL散度公式：
=0.2 左图中，
ˆ j 趋于0或1时，KL散度值趋于无穷大。 当
为了保证这个稀疏度小到我们希望的那 么多，一般强制约束
ˆj
是一个稀疏参数，一般取接近于0的值，比如0.05；
也就是说，每个隐藏单元j的平均激活值接近于0.05。
Sparse Autoencoder
Backpropagation algorithm
输入： 损失函数： 共m个训练集
其中，
第二步：自顶向下的监督学习 在第一步学习获得各层参数进的基础上，在最顶的编码层 添加一个分类器（如logstic、SVM等），而后通过带标签
数据的监督学习，利用梯度下降法去微调整个网络参数。
算法动机 1.不充分的深度是有害的； 2.大脑有一个深度架构； 3.认知过程是深度的；
Sparse AutoEncoder
Input：数据的输入； Encoder：编码器； Code：输入的一个表示； Decoder：解码器； Reconstruction: input的重建； Error: 重建数据和input的误差。
Sparse AutoEncoder
x ：输入值 f ：编码函数 h f ( x) ：编码或内部表示
g ：解码函数
r g ( f ( x)) ：输出，也称“重建值” L(r , x) ：损失函数，用于测量重建的好 坏，目标是最小化L的期望值。
Sparse AutoEncoder
自编码器本身就是一种BP神经网络。它是一种无监督学习 算法 。这里我们让神经网络目标值等于输入值x ，也就 是模拟一个恒等函数：h(x)=x
DL Model
• 自动编码器（AutoEncoder） 稀疏自动编码器（Sparse AutoEncoder） 降噪自动编码器（Denoising AutoEncoders）
• 限制波尔兹曼机（Restricted Boltzmann Machine）
• 深信度网络（Deep Belief Networks） • 卷积神经网络（Convolutional Neural Networks）
输入等于输出，这网络有什么意义？
当我们把自编码神经网络加入某些限制，事情就发生了变 化。 上图，就是一个基本的自编码神经网络，可以看到隐含层 节点数量要少于输入层节点数量。
Sparse AutoEncoder
如果我们输入一张10*10的图像，这样就有100个像素，所 以输入层和输出层的节点数量就是100。而我们取隐藏层 节点数量为25。于是，这样就会迫使隐藏层节点学习得到
Deep Learning
Sparse AutoEncoder
陈文根 控制科学与工程
河南工业大学
Content
• Deep Learning
• DL Model • Training Algorithm • Sparse AutoEncoder
Deep Learning
• 概念：深度学习的概念源于人工神经网络的研究。含多 隐层的多层感知器就是一种深度学习结构。深度学习通 过组合低层特征形成更加抽象的高层表示属性类别或特
输入数据的压缩表示方法，逼得隐藏层要用Байду номын сангаас5维数据重构
出100维的数据。这样也就完成了学习过程。 这和我们学习的过程很像，假设一共有100个考点，但是 只允许你用25个知识点概括所有这些考点，这就是学习的 过程。
Sparse AutoEncoder
更一般的，如果隐藏层节点数量很大，甚至比输入层节点 数量还要多时，我们仍然可以使用自编码算法，但是这时 需要加入稀疏性限制。这就是稀疏自编码器。 简单说就是要保证隐藏神经元在大多数情况下是被抑制的 状态。具体表现就是sigmoid函数的输出大多数状态是0， tanh函数的输出大多数状态是-1。 这样有什么好处？这样能够迫使隐藏神经元发挥最大的潜 力，在很不利的条件下学习到真正的特征。 （人脑好像也是这样的，某个输入只是刺激某些神经元， 其他的大部分的神经元是受到抑制的）
ˆ j =0.2 时，KL散度值达到最小，其值为0。 当
因此，为了使以上惩罚项最小，必须使得：
ˆj
Sparse AutoEncoder
因此，全局损失函数为：
其中：
Sparse AutoEncoder
我们根据前面的反向传导算法得到：
再根据算法迭代收敛
Thank you!