基于LS-SVM的改进统计降尺度方法
LSSVM概述学习资料
5 最小二乘支持向量机（LSSVM)估计算法
支持向量机主要是基于如下思想：通过事先 选择的非线性映射将输入向量映射到高维特征 空间， 在这个空间中构造最优决策函数。在构 造最优决策函数时，利用了结构风险最小化原 则。 并巧妙的利用原空间的核函数取代了高维 特征空间中的点积运算。
设样本为 n维向量，某区域的 l个样本及其值表示为
( x1, y1 ),......, ( xl , y l ) R n R
首先用一非线性映射 Y( x)把样本从原空间R n映射到特征
空间 Y(x) (j (x1 ),j (x2 ),..., j (xl ))。在这个高维特征空间 中构造最优决策函数 y(x) w .j ( x) b。这样非线性估计
所谓 VC 维是对函数类的一种度量，可以简单的理解为问题的复杂程 度，VC 维越高，一个问题就越复杂。正是因为 SVM 关注的是 VC维，后 面我们可以看到，SVM 解决问题的时候，呾样本的维数是无关的（甚至 样本是上万维的都可以，这使得 SVM 径适合用来解决文本分类的问题， 当然，有这样的能力也因为引入了核函数）。
函数转化为高维特征空 间中的线性估计函数。 利用结构
风险最小化原则，w寻,b找 就是最小化
R
1 2
w2
c Remp，其中w 2控制模型的复杂度，
c为正规化参数R。 emp为误差控制函数，也不即敏感损失
函数。常用的损失有 函线 数性损失函数，二损 次失函
数，hube损 r 失函数。选取了的 不损 同失函数，可构同 造不
SVM分类函数形式上类似于一个神经网络，输出是中间节点的线性组合， 每个中间节点对应一个输入样本于一个支持向量机的内积，因此也就叫做支持 向量网络。
4 相关名词解释
一种基于LSSVM优化的负荷预测方法及系统[发明专利]
![一种基于LSSVM优化的负荷预测方法及系统[发明专利]](https://img.taocdn.com/s3/m/4f41ff4a1611cc7931b765ce05087632311274da.png)
(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号 (43)申请公布日 (21)申请号 201710767106.8(22)申请日 2017.08.30(71)申请人 华中科技大学地址 430074 湖北省武汉市洪山区珞喻路1037号(72)发明人 戴彬 王曼 徐方琳 (74)专利代理机构 华中科技大学专利中心42201代理人 廖盈春 李智(51)Int.Cl.G06Q 10/04(2012.01)G06K 9/62(2006.01)H02J 3/00(2006.01)(54)发明名称一种基于LSSVM优化的负荷预测方法及系统(57)摘要本发明公开了一种基于LSSVM优化的负荷预测方法及系统，包括：(1)在获取原始的历史负荷数据之后，甄别并修正其中的异常数据，构建特征向量，对特征向量进行k均值聚类，根据聚类效果，选择输入变量；(2)以LSSVM模型的惩罚因子C和核函数宽度参数σ，作为粒子群算法的粒子在搜索空间的位置坐标，选择使得适应度值最小的粒子坐标向量值[C ,σ]作为粒子群算法的输出；(3)利用优化处理后的输入变量数据作为LSSVM模型的输入和输出，利用步骤(2)中得到的[C ,σ]，求解负荷预测回归方程，利用回归方程进行负荷预测。
本发明修正了异常数据，找到最适宜的惩罚因子和核函数宽度参数，从而提高基于LSSVM的负荷预测精度。
权利要求书5页 说明书8页 附图3页CN 107506865 A 2017.12.22C N 107506865A1.一种基于LSSVM优化的负荷预测方法，其特征在于，包括以下步骤：(1)在获取原始的历史负荷数据之后，利用双向比较法处理数据，甄别并修正其中的异常数据；然后以温度、日期类型、负荷数据构建特征向量，对特征向量进行k均值聚类，根据聚类效果，选择与待预测日数据特征相似度较高的日期的数据作为训练样本的输入变量；对输入变量进行主成分分析降维处理，去除冗余信息；(2)以LSSVM模型的惩罚因子C和核函数宽度参数σ，作为粒子群算法的粒子在搜索空间的位置坐标，将每次迭代过程中每个粒子的位置向量[C，σ]输入到LSSVM模型，并计算训练集的预测值和实际值的误差作为适应度；在迭代过程中选择适应度好的粒子作为父代粒子，进行交叉操作，然后对粒子的位置变量进行变异；选择使得适应度值最小的粒子坐标向量值[C，σ]作为粒子群算法的输出；(3)利用步骤(1)中优化处理后的输入变量数据作为LSSVM模型的输入和输出，利用步骤(2)中得到的[C，σ]的坐标值C作为LSSVM模型的惩罚因子，坐标值σ作为LSSVM模型的核函数宽度参数，求解负荷预测回归方程，利用回归方程进行负荷预测。
基于LS-SVM软传感器的容错控制方法及应用
基于LS-SVM软传感器的容错控制方法及应用李炜;张婧瑜【摘要】针对一类非线性系统中传感器卡死、恒增益和恒偏差失效等易发故障,考虑控制系统多存在耦合、非线性、时变、滞后等难以建立精确的解析模型,基于数据驱动技术提出一种软传感器容错控制方法.基于LS-SVM构建了系统软传感器,并利用软传感器的预测输出与实际传感器输出之差获取残差信号;采用SPRT算法进行故障检测,当传感器发生故障时,用LS-SVM软传感器预测输出代替物理传感器的实际输出,从而以软闭环方式实现对传感器故障的容错控制.将所提出的方法应用于一阶水箱液位控制系统,实验结果表明,基于LS-SVM软传感器与SPRT的结合能够可靠及时检测非线性系统中各类传感器故障,而借助于软闭环切换还可对传感器故障实现安全容错.【期刊名称】《兰州理工大学学报》【年(卷),期】2014(040)005【总页数】5页(P77-81)【关键词】LS-SVM软传感器;SPRT故障检测;数据驱动;软闭环容错控制【作者】李炜;张婧瑜【作者单位】兰州理工大学电气工程与信息工程学院,甘肃兰州730050;兰州理工大学电气工程与信息工程学院,甘肃兰州730050;兰州石化职业技术学院电子电气工程系,甘肃兰州730060【正文语种】中文【中图分类】TP206.3随着工业生产规模的扩大和自动化程度的提高，人们对控制系统的安全性、可靠性要求也越来越高，传感器更是信息获取不可缺少的环节，但也是极易出现故障的部件.如果传感器在使用过程中出现性能蜕化或失效等故障，则故障传感器传来的反馈信号不仅会在闭环控制系统中迅速传播，而且可能导致系统性能下降，甚至陷入瘫痪［1］.传统硬件冗余法虽可保证其输出信号的可靠性，但要付出高昂的成本代价且系统复杂性增加.近年来，一种借助于软传感器进行故障检测的方法受到了业界的广泛关注［2-4］.基于软传感器故障检测的基础是建模，由于建模方法不一，可分为基于解析模型和基于数据驱动模型两类方法［5］.基于解析模型的原理是构建卡尔曼滤波器或自适应观测器等观测系统的输出，并与实际传感器之差产生残差信号进行故障诊断.此类方法研究相对较多也较深入，但必须充分了解过程的内部机理.实际工业系统大多较为复杂且又具有非线性，往往很难建立精确解析模型，因此研究对象只能针对线性系统或非线性系统在工作点附近的线性化模型［6-7］.随着信息科学技术的迅速发展及DCS的广泛应用，系统在运行过程中储存了大量数据，可基于这些数据建立系统预测模型，这类预测模型也称为软传感器，它只依赖于过程装置的运行数据，无需了解系统的内部机理，而且具有较高可靠性.构建软传感器的方法主要有主元分析（PCA）、部分最小二乘（PLS）、神经网络（ANN）和支持向量机（SVM）等［8］.文献［9］同时用ANN 和SVM 对一压力传感器进行故障检测，实验结果表明基于SVM构建的软传感器进行故障检测时间更短、精确度更高.上述方法虽可实现传感器故障的检测，但也仅仅限于检测到故障是否发生，而无实时应对措施.闭环控制系统中，传感器一旦发生故障，就会迅速通过反馈通道波及到操纵变量，并干扰其他过程变量，甚至影响生产.因此，本文针对一类非线性系统中传感器卡死、恒增益和恒偏差3种易发故障，基于数据驱动技术提出一种基于软传感器的容错控制方案.1 数据驱动LS-SVM软传感器容错控制1.1 控制方案基于数据驱动技术的LS-SVM软传感器容错控制系统结构如图1所示.系统主要包括：LS-SVM软传感器、故障检测与判决机制及软闭环切换容错机制等三个功能模块.其中，yr（k）为系统的期望输出，u（k）为控制器输出，z（k）为经软闭环切换后的系统反馈信号，y（k）为实际传感器测量输出，（k）、r（k）分别为系统LS-SVM模型，亦即软传感器在k时刻的预测输出及与实际输出产生的残差信号.图1 LS-SVM软传感器容错控制结构Fig.1 Structural diagram of LS-SVM soft sensor fault tolerant controlLS-SVM软传感器兼有传感器故障检测中残差信号的生成与故障切换时软传感器预测过程输出的双重功能.故障检测与判决机制利用历史及当前残差信号，基于SPRT算法进行传感器故障检测并输出故障指示信号.若传感器发生故障，容错机制将软传感器预测输出（k）切换至系统反馈信号z（k）；待故障排除，再将实际传感器输出y（k）切换至z（k），防止故障在闭环系统中传播.三者有机结合使系统实现对各种传感器故障的安全容错.其具体工作流程如图2所示.图2 软传感器容错控制工作流程Fig.2 Operational flow-chart of soft sensor fault tolerant control1.2 非线性系统LS-SVM软传感器的构建模型的精确建立是系统实现快速可靠检测传感器故障的基础.实际运行的工业系统大多具有耦合、非线性、时滞等特点，很难建立精确解析模型，然而现代工业控制系统却具有丰富的在线和离线测量数据，可基于数据驱动技术对其建模，亦即构建软传感器.在众多的支持向量机算法中，最小二乘支持向量机（LS-SVM）具有建模所需样本少、求解速度快且全局最优等优点，在非线性系统建模及故障检测中得到了广泛的应用［10-12］.因此，本文基于LS-SVM为非线性系统构建软传感器，其原理如下［13］：假设被控对象是一个MISO的非线性系统，其输入输出变量之间的关系由下式描述：其中：训练样本集Xki= （x1i，x2i，…，xn1i）T，Y=（y1，y2，…，yn1）T，P 为输入变量个数，n1 为样本数；测试样本集XC= （xc1，xc2，…，xcn2）T、YC=（yc1，yc2，…，ycn2）T 用于模型验证，n2 为其样本数.LS-SVM建模的目的是根据这n1个训练样本求解一个最优决策函数f（x）：式中：ω为Rp中的权向量，b为偏差量.其原理是通过一个非线性映射φ（·），将非线性估计函数转化为高维特征空间中的线性估计函数，求ω、b，使最小化：其中：R为优化目标函数，c为可调边界参数，Remp为不敏感损失函数，用误差变量ξi的二次项表示，则优化问题表示为利用拉格朗日乘子α构造拉格朗日函数：对L求ω、b、ξ、α的一次导数，令定义核函数 K（xi，xj）=φ（xi）φ（xj）是满足Mercer条件的对称函数，核函数选RBF函数，即则优化问题就转化为求解由此可得到非线性系统LS-SVM软传感器预测输出为用测试集XC测试所建模型的预测输出，根据式（10，11）计算其均方根误差RMSE和最大绝对误差MAXE：1.3 基于LS-SVM与SPRT的传感器故障检测根据1.2中所述原理，基于过程离线数据构建LS-SVM软传感器，并与实际传感器输出进行比较获取残差信号r（k）=（k）-y（k），即可进行故障检测.理想情况下，系统正常运行时，r（k）是一个零均值的白噪声序列；当传感器发生故障，残差均值会随之发生变化，不再为零.但实际运行时，由于系统受到建模误差和外部干扰等不确定因素的影响，残差不可能为零，而此值及检验样本数的选择，又是决定故障检测可靠与快速性的基础.考虑序贯概率比检验（SPRT）方法可根据要求的误报、漏报率设置阈值，在检验过程中会自适应地随故障大小增加观测样本的数目，直到预定的漏报率和误报率都达到要求时会自动停止检验［14］，在确保误报、漏报率满足需求的前提下所需样本最少.因此，本文采用SPRT算法进行故障检测，其原理如下：假设m 维残差序列r=［r1，r2，…，rm］T 服从正态分布 Nm（θ，σ），其概率分布密度为考虑如下假设检验模型：H0：rm～Nm（0，1），系统正常；H1：rm～Nm（θ0，1），θ0≠0，系统故障.建立k时刻的对数似然概率比判决函数：由式（13）可推导出判决函数λ的递推公式为SPRT检验门限：其中：PF表示允许的误报警概率，即H0成立反而被否定的概率；PM表示允许的漏报警概率，即H1成立反而接收H0的概率.确定判决函数λ和检验门限值ln T（H0）、ln T（H1）后，根据如下规则做出判决：λ（k）≤ln T（H0），接受H0，k 时刻之前系统正常；λ（k）≥ln T（H1），接受H1，k时刻系统发生故障；ln T（H0）≤λ（k）≤ln T（H1），增加样本继续检验.对数似然比λ在递推过程中，当H0为真时会附加一项负值，当H1为真时附加一项正值，这样λ可能很负.当故障发生时，必须积累一段正值项，才能使λ变正而达到门限值ln T（H1），造成检测延迟.为了消除检测延迟，需用补偿方法对式（14）所表示的判决函数λ进行修正［15］，修正后的判决函数为监控λ＊（k）的变化，若λ＊（k）≥ln T（H1），认为传感器发生故障.1.4 软闭环切换容错控制机制尽管PID控制对闭环系统中的微小故障或扰动具有一定的鲁棒性，但前提是准确获取偏差信号.对于传感器故障，则会即刻通过反馈通道在闭环系统中蔓延，首先恶化偏差信号，进而干扰操纵变量，造成系统性能下降，甚至演变为灾难性故障.因此，需对故障传感器进行及时切换.即当故障检测与判决机制判断出传感器发生故障后，应立刻屏蔽故障传感器的输出信号，将软传感器预测输出作为反馈信号送至控制器；待故障排除，再将实际传感器的输出恢复为反馈信号，防止故障在闭环系统中传播，保证系统能够安全、可靠地长期稳定运行.2 实验验证2.1 软传感器的构建本文选取德国FESTO公司过程控制系统实验装置（PCS）中的液位控制单元作为实验对象.考虑到该液位控制系统由于受到水泵震动、网络传输时延、外部干扰及各环节非线性特性等因素的影响，使系统具有一定的时滞、非线性特性，首先基于过程离线数据构建其LS-SVM软传感器.采集电动调节阀的开度信号作为模型输入变量、液位变化量作为模型训练目标，进行预处理后以1 200组数据作为训练集，188组数据作为测试集，构建系统的LS-SVM软传感器.核函数采用RBF核函数，优化后的可调边界参数c=97，径向基核宽度σ=4.5，偏差量b=0.010 3.经测试样本集测试，表1给出了LS-SVM软传感器预测精度评价结果.表1 LS-SVM软传感器预测精度评价Tab.1 Evaluation of predicted precision with LS-SVM soft sensor性能指标模型MAXE RMSE LS-SVM 9.409 8×10-60.002 1从表1可以看出，LS-SVM软传感器具有较好的预测精度，完全满足水箱液位的测量精度要求.2.2 数据驱动LS-SVM软传感器容错控制在闭环控制系统中，传感器故障作为输出型故障，表2给出了几种常见故障的具体表现形式.表中：y（k）和y～（k）分别表示故障情况和正常情况下传感器的实际输出，A、Δε为恒定的常数，β是一个比例系数，分别取A=10，β=2，Δε=0.5.表2 传感器故障类型Tab.2 Type of sensor faults故障类型故障描述恒定阶跃信号f2：恒增益 y（k）=β~y（k）斜坡信号f3：恒偏差 y（k）=~y（k）+Δε数学表达式施加仿真信号f1：卡死 y（k）=A恒定阶跃信号为验证本文所述方法能够快速可靠地检测传感器故障，且对故障能够有效容错，分别针对表2中3种易发故障，基于前述方法在Matlab2010b环境下，对PCS液位控制实验平台的超声波液位传感器进行故障检测及容错控制的实验验证.取漏报率PM=0.1、误报率PF=0.1，则统计量λ＊（k）的故障检测阈值ln T（H1）=2.197；文中控制器采用常规PID控制算法，参数优化整定结果为KP=5，KI=0.034.实验设计在t=0时刻对系统施加10%的阶跃信号，并在第158个样本点（t=79s）处发生故障f1（卡死故障），在第318个样本点（t=159s）处排除故障系统恢复正常；在第380个样本点（t=190s）处发生故障f2（恒增益故障），在第542个样本点（t=271 s）处排除故障系统恢复正常；在第600个样本点（t=300s）处发生故障f3（恒偏差故障），在第760个样本点（t=380s）处排除故障系统恢复正常.不同故障下的残差均值见表3，故障检测与容错控制曲线如图3和图4所示.由图3可知，当系统分别在第158、380、600个样本点处发生故障f1、f2及f3时，残差信号的均值均发生相应变化，SPRT统计量λ＊（k）也超过故障检验门限值ln T（H1），判决传感器发生故障，输出故障指示量5；待系统恢复正常，残差均值接近0，λ＊（k）低于故障检验门限值，则认为传感器没有发生故障，输出故障指示量0.说明文中所设计的基于数据驱动的软传感器与SPRT结合的故障检测方法，能够快速、可靠地检测传感器故障.表3 不同故障情形下的残差均值Tab.3 Mean value of residual error in case ofdifferent faults模型运行模式残差均值正常LS-SVM-0.002 5卡死 9.780 6恒增益 100.213 3恒偏差0.498 2图3 基于LS-SVM软传感器的故障残差及故障检测Fig.3 Fault residual error and fault detection based on LS-SVM soft sensor图4 不同故障情形下软闭环容错效果验证Fig.4 Verification of effects of soft close-loop fault-tolerant control in case different faults由图4可知，针对前述3类传感器故障，当故障检测与判决机制指示传感器发生故障时，物理传感器输出已偏离实际系统的输出，但借助于软闭环切换将所构建的软传感器预测输出作为系统反馈信号，系统在原PID控制器作用下液位高度仍保持在100±0.2mm，且无明显切换抖动；待故障排除，系统恢复正常，又将传感器的实际输出切换至系统反馈信号送至控制器.说明文中所构建的软闭环机制可对各类传感器故障进行安全容错.3 结论本文针对一类非线性系统中传感器卡死、恒增益、恒偏差3种常见故障，综合考虑了非线性系统较难建立精确解析模型，而生产过程每天产生的大量运行数据，提出了一种数据驱动LS-SVM软传感器故障检测与容错控制方法.基于历史数据构建非线性系统的LS-SVM软传感器与实际传感器输出比较产生残差信号，辅以SPRT 算法在确保期望误报、漏报率的同时使故障检测及时性得以提高.当传感器发生故障时，设计的软闭环切换容错控制机制以软传感器预测输出代替物理传感器的实际输出，防止了故障在闭环系统中的传播，确保了系统在故障情形的高性能运行.将所提出的方法应用于PCS液位控制系统中，实验结果表明LS-SVM软传感器与SPRT的结合能够及时可靠地检测传感器故障，而故障期间借助于软闭环切换将软传感器预测输出代替物理传感器实际输出作为闭环反馈信号能够实现控制系统对故障的安全容错，确保控制系统长期稳定的安全运行.参考文献：［1］WANG Yiming，YE Hao.Data-driven diagnosis of sensor precision degradation in the presence of control［J］.Journal of Process Control，2012，22：26-40.［2］赵劲松，李元，邱彤.一种基于小波变换与神经网络的传感器故障诊断方法［J］.清华大学学报：自然科学版，2013，53（2）：120-122.［3］王通，高宪文，蔺雪.SWE-IPCA方法在传感器故障诊断中的应用［J］.仪器仪表学报，2013，34（8）：1841-1846.［4］孙毅刚，王雷，薛仲瑞.基于BP网络的航空发动机传感器硬故障检测［J］.传感器与微系统，2013，32（7）：120-122.［5］KADLEC P，GABRYS B，STRANDT S.Data-driven Soft Sensors in the process industry［J］.Computers and Chemical Engineering，2009，33：795-814.［6］WEI Xiukun，VERHAEGEN M，VAN ENGELEN T.Sensor fault detection and isolation for wind turbines based on subspace identification and Kalman filter techniques［J］.Adaptive Control and Signal Processing，2010，24（8）：687-707.［7］MID E C.Application of model based sensor fault tolerant control system ［C］//IEEE International Conference on Control System.Penang：［s.n.］，2011：150-155.［8］周东华，胡艳艳.动态系统的故障诊断技术［J］.自动化学报，2009，35（6）：748-752.［9］YU Yaojun.The research on sensor fault diagnosis based on the SVM prediction model［C］//Cross Strait Quad-Regional Radio Science andWireless Technology Conference（CSQRWC）.Harbin：［s.n.］，2011：990-992.［10］史岩，李小民，连光耀.基于在线增量小波LS-SVM的垂直陀螺仪残差故障检测研究［J］.计算机测量与控制，2013，21（1）：14-17，26.［11］许允之，方磊，张建文.基于最小二乘支持向量机的电机故障鉴别［J］.电力系统保护与控制，2012，40（14）：63-68.［12］李炜，王凤达，马克.基于LS-SVM的多模型非线性主动预测容错控制［J］.兰州理工大学学报，2009，35（2）：70-75.［13］GANG Fengzhi，KATSUNORI S，WANG Qi.Sensor fault detection and data recovery based on LS-SVM predictor［J］.仪器仪表学报，2007，28（2）：193-197.［14］闻新，张洪铖，周露.控制系统的故障诊断与容错控制［M］.第3版.北京：机械工业出版社，1998：37-69.［15］李炜，李阳.优化M-SPRT法在管道泄漏检测中的应用［J］.天然气工业，2009，29（4）：93-95.。
lssvm在时间序列预测中的理论与应用研究
LS-SVM在时间序列预测中的理论与应用研究重庆大学硕士学位论文（学术学位）学生姓名：梅*指导教师：王波副教授专业：计算机应用技术学科门类：工学重庆大学计算机学院二O一三年四月Theory and Application Research on LS-SVM in Time Series PredictionA Thesis Submitted to Chongqing Universityin Partial Fulfillment of the Requirement for theMaster’s Degree of EngineeringByMei QianSupervised by Ass. Prof. Wang Bo Specialty: Computer Application TechnologyCollege of Computer Science ofChongqing University, Chongqing, ChinaApril 2013摘要时间序列预测方法已经应用到几乎所有预报与决策的领域，广泛地应用在实际中。
对这种方法的研究不仅具有理论研究的重要意义，而且一直是国内外学者研究的热点和难点。
在支持向量机模型中，成功地应用了结构风险最小化、核函数映射和凸二次规划等技术，有效地解决了在传统机器学习中出现的维数灾难和局部极小等问题。
而最小二乘支持向量机(LS-SVM)作为支持向量机(SVM)的一个改进简化模型，在保证预测精度不减弱的情况下，具有比支持向量机运算更加简化的优点。
本文针对LS-SVM中的一些问题进行了研究，主要工作如下：①提出了经验模态分解与LS-SVM组合预测的方法，结合建筑能耗预测的实际应用，该方法的主要思路是把能耗数据形成的时间序列用EMD方法分解成多个本征模式分量，然后对每个本征模式分别建立LS-SVM模型进行分开预测，最后将所有本征模式分量对应的LS-SVM模型预测结果进行求和。
LS SVM中文使用说明
R2008b，R2009a 测试，工具箱中参考命令都以打印字体书写。 LS – SVMlab 主页： http://www.esat.kuleuven.be/sista/lssvmlab/
对单个和多个输出回归和分类的函数都可以使用。训练和模拟可以做到为每个输出 分别通过传递不同的核函数，内核和/或作为列向量正规化参数。执行工具箱中其他核函数 也是简单的。
一个模型的性能依赖于输入数据和输出数据的缩放。一个适当的算法检测，适当的 重新调整重设比例，分类和二进制变量。
2.1.1 分类扩展 调用函数：codelssvm, code, deltablssvm, roc, latentlssvm 演示：Subsection, democlass
所有 CMEX 和/或 C 文件已被删除。求解 线该性系统通过使用 MATLAB 命令“反斜杠” （\）
第一章 引言
在解决非线性分类，函数估计和密度估计问题中，支持向量机是一个很强大的方法，支 持向量机也致使了其核心的新动向，最新发展事基于一般学习方法的。支持向量机应经被引 入统计学习理论和结构风险最小化之中。这些方法中，凸优化问题,解决了一个典型的二次 规划问题。LS-SVM 是标准 SVM 的改进，这样就可以解决线性 kkt 系统的问题了。最小二 乘支持向量机与正规化网络和高斯过程密切相关，但更加重视和利用原始对偶的规范条款解 释。经典的模式识别算法的内核版本如判别分析的内核 Fisher，以非监督学习、循环式网络 扩展和控制之间的链接是可用的。健全性、稀疏性、权重可以被应用到 LS-SVM 上，并具 有三个层次的推理贝叶斯框架已经制定。LS – SVM 像原始对偶那样配方给予核 PCA，核 CCA 和 PLS。对于非常大的规模问题和在线学习，一个固定大小的 LS - SVM 方法被提出， 它基于 Nystrom 在原始空间中支持向量的积极选择和估计的近似值。原始对偶申述的方法 被开发为核心谱聚类，数据可视化，降维和生存分析。
基于QPSO参数优化的LS-SVM智能标定
基于QPSO参数优化的LS-SVM智能标定杨德志【摘要】When we study the parameters of LS-SVM with PSO（particle swarm optimization） optimization,it is easy to fall into local extremes for the limitation of search space,thus directly affecting the calibration accuracy of tank capacity.To deal with this problem,the suthor made the optimization by selecting the radial basis kernel parameters of LS-SVMwith QPSO（quantum-behaved particle swarm optimization）and built a soft-sensing model of calibrating tank capacity based on QPSO-LS-SVM.The simulation results show that it is a simple method with high precision efficiency.%研究粒子群算法（PSO）优化最小二乘支持向量机（LS-SVM）的参数时,受到搜索空间有限的限制,容易陷入局部极值,直接影响罐容表的标定精确度的问题。
针对该问题,作者采用量子粒子群算法（QPSO）选取LS-SVM的径向基核参数进行优化,建立了基于QPSO-LS-SVM的罐容表标定的软测量模型。
仿真实验结果表明：该方法不用建立复杂的机理模型,只需利用QPSO-LS-SVM算法进行软标定,大幅度缩短了训练建模时间,提高了运行效率。
【期刊名称】《辽东学院学报（自然科学版）》【年(卷),期】2011(018)003【总页数】4页(P224-227)【关键词】最小二乘支持向量机（LS-SVM）;粒子群算法（PSO）;标定【作者】杨德志【作者单位】辽东学院师范学院,辽宁丹东118003【正文语种】中文【中图分类】O242.1罐容表的软标定技术是目前研究的热门方向之一。
LS-SVM中文使用说明
kpca, eign
演示：Subsections
计算模型的后验概率和不同层次的推理中超参数的函数是可以用的。通过考虑模型和 超参数的不确定性得到误差线。进行分类，一类可以估算后概率（这也被称为主持输出） （bay_modoutClass）。在贝叶斯框架中使用特征值分解核矩阵。矩阵的大小会随着数据点 的数量而增长。因此，人们需要逼近技术处理大型数据集。众所周知，主要特征值和相应的 特征向量是相关的。因此，，迭代逼近方法，如作为 Nystrom 方法包括在内，这也是高斯过 程中经常使用。输入选择可以通过自动关联的测定（bay_lssvmARD）。对于一个落后的变 量的选择，贝叶斯框架推断的第三个层次对这个问题来说最合适的运用。
2.4 通过固定大小的最小二乘支持矢量机解决大型规模问题
调用函数：demo_fixedsize, AFEm, kentropy; 演示：Subsection , demo_fixedsize, demo_fixedclass
例如喜欢基于最小二乘支持向量机算法的典型内核通常具有记忆功能和算法复杂度为 O(N 2)的计算要求。为绕过这个瓶颈，对大规模的工作方法提出了解决方案。对于大型数据 集，将有利于在原始权空间解决最小二乘问题，这是由于当时未知数向量大小是与特征向量 大小是成比例的，而不是数据点的数量。但是，该特征空间映射是由内核诱导的，而内核又 需要获得非线性，因此，提出了一种固定大小的最小二乘支持向量机的方法。首先，Nystr¨om 方法能够用来估计特征空间的映射。Nystr¨om 近似值，内核主成分分析和密度估计之间的 联系已被讨论。在固定大小的最小二乘支持向量机中，聘请了明确的原始对偶 LS-SVM 的 解释，将它们联系起来。根据二次 Renyi 熵准则选择支持向量机。最后一步，在原始空间 中完成回归，原始空间为求解大规模非线性函数估计和分类问题提供了适当的方法。而固定
基于RS重构技术的LS_SVM预测模型及工业应用
第30卷 第5期2009年5月仪器仪表学报Ch i nese Journa l o f Sc ientific Instru m entV ol 130N o 15M ay 2009收稿日期:2008-10 R ece i ved D ate :2008-10*基金项目:国家自然科学基金(60634020,60874037)、教育部博士点基金(200805331103)资助项目基于RS 重构技术的LS _S V M 预测模型及工业应用*孔玲爽1,2,阳春华1,朱红求1,桂卫华1(1 中南大学 信息科学与工程学院 长沙 410083;2 湖南文理学院 电气与信息工程学院 常德 415000)摘 要:为实现不完备多变量时间序列的有效重构,将经典重构技术和粗糙集约简理论相结合,提出了一种广义输入状态重构方法和LS_SVM 预测模型。
首先,结合M ean Comp leter 补齐算法和经典相空间重构方法,对不完备多变量时间序列进行补齐和含有一定嵌入裕量的初始重构,以克服序列中可能存在的数据缺失和嵌入不足等问题;然后,通过构建时间序列决策表,采用一种I GA 算法对冗余嵌入和冗余变量进行R S 约简,获取精简重构样本空间;最后,将精简结果作为LS _S VM 的输入,辨识关键变量预测模型。
将提出的方法应用氧化铝配料过程的原料组份时间序列的重构和预测,通过比较和分析验证了算法的有效性和优越性。
关键词:多变量时间序列;相空间重构;R S ;L S_S VM;预测中图分类号:TP273 文献标识码:A 国家标准学科分类代码:120.5099LS_S V M pred i cti on model based on R S reconstructionand its i ndustrial applicationKong L i n gshuang 1,2,Y ang Chunhua 1,Zhu H ongq i u 1,Gu iW e i h ua1(1.Schoo l of Infor m ation Science and Eng i neering ,Central South Universit y,Changsha 410083,Ch i na ;2.Colle g e of co mmunication and E lectric Engineering ,H unan Univers it y of A r ts and S cience ,Changde 415000,China )Abstract :In order to effecti v ely reconstruct the phase space for mu lti v ari a te ti m e series ,a ge neral i n put state recon -str uction m ethod co mb i n i n g c lassical reconstructi o n techno l o gy w it h reducti o n theory of rough sets and LS_SVM predic -ti o n model are proposed .Firstl y ,by usi n g M ean Co m pleter A l g orithm and classica l reconstructi o nm ethod ,the m ulti v a -riate ti m e seriesw it h i n co m plete i n for m ati o n is co m pleted and ori g ina lly reconstr ucted w ith redundant e m beddi n g d-im ensions .Then ,t h e ori g inal decisi o n-table for mu ltivariate ti m e series is set up and the RS reducti o n is i m ple m ented by I G A to delete the redundant d i m ensions and irrelevant variables and to extract the si m plified sa mp les .F i n ally ,the pred icti o n m odel for the key variab le is i d entified by i n putting these sa m ples into LS_SVM.The proposed m ethod is applied to reconstruct and predict the ti m e series o fm ateria l co mponent contents i n b lending process of alu m ina pro -duction .The app li c ation resu lts sho w its effic iency and superi o rity in co m parison w ith c lassi c alm ethod .K ey w ords :M ulti v ariate ti m e series ;phase space reconstruction;RS;LS_SVM;predicti o n1 引 言在工业生产过程中,由多个变量(或参数)的历史检测数据构成的时间序列广泛存在。
最小二乘支持向量机的一种改进算法
最小二乘支持向量机的一种改进算法最小二乘支持向量机（LS-SVM）是一种常用的机器学习算法，它使用最小二乘法来寻找最佳决策边界，就像标准的支持向量机（SVM）一样。
但是，LS-SVM有一些局限性，例如对噪声数据的敏感性。
为了解决这些限制，人们开发了许多改进算法。
这篇文章将介绍最小二乘支持向量机的一种改进算法。
一、最小平方双曲线支持向量机（LSSVM-RBF）LSSVM-RBF是对LS-SVM的改进。
它使用径向基函数（RBF）作为核函数，通过添加双曲线惩罚项来解决LS-SVM的局限性。
这个惩罚项可以控制分类器复杂度，从而使其更适应噪声数据。
二、随机采样最小平方支持向量机（RS-LSSVM）另一个改进方法是随机采样最小平方支持向量机（RS-LSSVM）。
这个算法可以在保持准确性的同时降低计算成本。
它在每个迭代中随机选择一小部分样本，以计算新的最小二乘解。
这样可以减少计算，但也增加了噪声的影响。
为了解决这个问题，RS-LSSVM还引入了一个新惩罚项来稳定分类器。
三、多核最小二乘支持向量机（MKL-SVM）MKL-SVM是另一个对LS-SVM的改进。
它使用多个核函数组合，可以对不同的数据集选择最佳的核函数组合，以提高分类器的准确性。
此外，MKL-SVM还使用自适应核函数权重来调整不同核函数的重要性。
四、在线最小二乘支持向量机（OLS-SVM）在线最小二乘支持向量机（OLS-SVM）是一种新的改进方法，它可以逐渐适应新数据，而不需要重新训练模型。
该算法在线更新模型参数，可以实时适应变化的数据。
总之，最小二乘支持向量机是一种优秀的分类器，但也存在局限性。
随着机器学习领域的不断发展，人们也在不断改进这个算法，以使其更适应不同的数据集和问题。
基于加权LS-SVM的批量产品标准差预测与质量控制
DOI:10.13546/ki.tjyjc.2020.16.038{管理决篆;基于加权LS-S V M的批量产品标准差预测与质量控制董海a，徐德珉11(沈阳大学a.应用技术学院;b.机械工程学院，沈阳110044)摘要：文章针对供应商批量交货产品的质量预测与控制问题，采用加权最小二乘支持向量机的方法对交货产品的质量数据进行训练和预测。
由于单一产品的质量值存在不穗定及偶然现象，因此将单个产品进行分组，选择对各组产品的质量标准差进行预测，提高了质量预测的鲁棒性，使得预测行为更加可靠。
在加权最小二乘支持向量机预测模型的基础上，采用蜻蜓算法寻找模型相关参数的最优值，使预测精度得以提高。
针对质量标准差的预测数据进行质量控制分析，使用MINITAB绘制Xbar-S控制图，通过控制图发现异常点并对其改进，重新建立质量标准差数据的预测模型，并绘制控制图，使得改进后的质量标准差值得以控制。
关键词：质量预测；加权LS-SVM;蜻蜓算法;质量控制；Xbar-S控制图中图分类号:0213.1 文献标识码:A文章编号：1002-6487(2020)16-0172-03〇引言供应链质量管理是供应链管理中最重要的环节之一, 供应链上各级成员的共同维护决定最终产品质量。
随着 生活水平的提升，消费者不仅要求产品质量达标，更是提 出产品的个性化需求，从而导致供应商转变了原有的生产 模式，采用批量的生产方式，目的是能够快速地响应消费 者的多样化需求，缩短产品的提前期。
在供应链环境下，供应商采用批量方式进行交货，考 虑到检测成本的因素，无法对单一零件进行质量检测，因此对单个零件进行质量预测毫无意义，没有实用价值。
在 实际加工中，对于小批量生产方式并以批量方式交货的产 品而言，产品质量水平的高低取决于工序能力的高低，若 工序能力高，说明加工过程中产品质量波动小，趋于稳定；若工序能力低，说明加工过程中产品质量波动大,容易出 现质量不合格产品。
210973575_基于改进型LS-SVM技术的煤泥浮选智能优化控制方法
计算机测量与控制!"#""!$#!%""!!"#$%&'()'*+%('#',&-!",&(".!!#%%&!#收稿日期 "#""#%")$!修回日期 "#""#-%(%作者简介 郭!伟!%&&$"&男&山西临县人&硕士&主要从事煤泥浮选智能优化控制方向的研究%引用格式 郭!伟&贾永飞&赵!欣!基于改进型D F+F bY技术的煤泥浮选智能优化控制方法(,)!计算机测量与控制&"#""&$#!%""*%%& %"*!文章编号 %('%*-&) "#"" %"#%%&#(!!./0 %#!%(-"( 1!2345!%%6*'(" 78!"#""!%"!#%)!!中图分类号 9:$&%!!文献标识码 ;基于改进型=I Q I L)技术的煤泥浮选智能优化控制方法郭!伟 贾永飞 赵!欣!中煤华晋集团有限公司王家岭选煤厂&山西运城!#*$$##"摘要 针对现有的煤泥浮选控制算法公式复杂'评估时间长等问题&文章提出了一种基于多重最小二乘支持向量机!D F+F bY"的浮选精煤灰分综合评估模型$首先&建立了基于D F+F bY的单一煤种的单一估计模型&并利用引力搜索算法对其内部参数进行了优化$其次&设计了模型更新策略&解决了单一模型精度下降的问题$此外&为了解决模型失配问题&还研究了由多个单一模型组成的多个D F+F bY模型以及模型切换机制$最后&进行了工业试验和评价&实验结果表明&煤泥浮选的评估值与实际值的平均相对误差为$[$"e&综合模型的估计精度和适应性能够满足工业要求%关键词 煤泥浮选$最小二乘支持向量机$引力搜索算法$综合评估模型$洁净煤灰含量H,&'..16',&W$&1#1]*&1",!",&(".)'&:"5"3I.1#'O."&*&1",;*+'5",H#$("0'5=I Q I L)7'8:,"."6@>O/<K5&,0;a C3@H K5&A E;/c53!<?3@15?G53@R C?G:I K8?I?75C3:G?37&R B53?R C?GE S?153>I C S8R C[&D7L[&a S32B K3@!#*$$##&R B53?">?+&(*8&*;5J53@?77B K8I C U G K J Q C H2C J8G K V H C I J S G?Q?3L G C3@K P?G S?75C375J K C H7B K K V5Q753@Q G5J K H G C7?75C32C37I C G?G@C I57B J Q& 2C J8I K B K3Q5P K K P?G S?75C3J C L K G C H H G C7?75C32G K?3K L2C?G?Q BU?Q K LC3J S G758G K G K?Q7Q`S?I K Q Q S88C I7P K27C IJ?2B53K!D F+F bY"5Q8I C8C Q K L537B5Q8?8K I!\5I Q7G M&?Q53@G K K Q75J?75C3J C L K G C H Q53@G K2C?G7M8K U?Q K L C37B KD F+F bY5Q K Q7?U G5Q B K L&?3L?@I?P57M Q K?I2BG@C I57B J5Q S Q K L7C C875J5W K7B K537K I3?G8?I?J K7K I Q!F K2C3L G M&7B KJ C L K G S8L?753@Q7I?7K@M5Q L K Q5@3K L7C Q C G P K7B K8I C U G K J7B?77B K22S I?2M C H7B K Q53@G KJ C L K G L K2I K?Q K Q!03?L L575C3&53C I L K I7CQ C G P K7B K8I C U G K JC HJ C L K GJ5Q J?72B&7B KJ S G758G KD F+F bY J C L K G Q2C J8C Q K LC HJ S G758G K Q53@G KJ C L K G Q?3L7B KJ C L K G Q T572B53@J K2B?35Q J?I K?G Q C Q7S L5K L!\53?G G M&7B K53L S Q7I5?G7K Q7?3L K P?G S?75C3?I K2?I I5K LC S7!9B K K V8K I5J K37?G I K Q S G7Q Q B C T7B?77B K?P K I?@K I K G?75P K K I I C I U K7T K K37B K K P?G S?75C3P?G S K?3L7B K?27S?G P?G S K C H Q G5J KH G C7?75C3I K?2B K Q$[$"e&?3L7B KK Q75J?75C3?22S I?2M?3L?L?87?U5G57M C H7B K2C J8I K B K3Q5P KJ C L K G2?3J K K77B K53L S Q7I5?G I K`S5I K+J K37Q!4'@2"(5+*Q G5J K H G C7?75C3$G K?Q7Q`S?I K QQ S88C I7P K27C I J?2B53K$@I?P57M Q K?I2B?G@C I57B J$2C J8I K B K3Q5P KK P?G S?75C3J C L K G$ 2G K?32C?G?Q B2C37K37A!引言目前&我国煤炭资源禀赋条件差&高含杂低品质煤资源储量丰富&随着优质煤炭资源的逐渐消耗与国家-双碳.战略的实施&低品质煤大规模分选提质已成为保障国家能源安全和煤炭行业高质量绿色发展的战略选择%煤泥浮选是一个多变量'大时滞的复杂非线性过程&在选煤中浮选用于分离出形成灰分的矿物质和粒度小于#[-J J的细煤中的含碳物质%其中&洁净煤灰含量是浮选产品质量的重要指标&当煤在一定时间内!即相对稳定的进料"保持一致时&洁净煤的灰分含量主要受操作条件的影响(%)%单一静态估计模型通常会获得令人满意的结果%然而&由于过程中的各种干扰'原材料的异质性和工作条件的波动等因素&单一静态估计模型的精度可能会随着时间的推移而降低("$)%为了表示浮选产品指数&国内外相关学者提出了许多基于浮选动力学的数学模型%其中国内文献(*)公开了一种人工神经网络!;==&?I75H525?G3K S I?G3K7T C I4"算法模型&将线性模型和非线性补偿相结合&通过概率密度估计选择最佳参数%但该算法公式通常很复杂&包含许多可变参数&在浮选工艺的实际实施中&每小时对洁净煤进行采样和灰分分析&导致工人劳动强度高%文献(-)提出了基于最大相关性和最小冗余!Y]Y]&J?V+I K G K P?32K?3LJ53+I K L S3L?32M"和半监督高斯混合模型!F F>YY&Q K J5Q S8K I P5Q K L>?S Q Q5?3J5V7S I KJ C L K G"联合分类模型的优化方法&评估煤泥浮选的药剂剂量'泡沫深度和回收率值%但由于时间延迟太长&从分析中获得的灰分含量无法及时指!投稿网址 T T T!1Q12G M4W!2C JCopyright©博看网. All Rights Reserved.!!计算机测量与控制!第$#""""""""""""""""""""""""""""""""""""""""""""""""""""卷#%"#!#导浮选过程的实际操作&浮选过程的操纵变量不能及时调整&影响产品的质量和稳定性%此外&文献(()公开一种低品质煤泥浮选过程强化研究进展及其思考&该技术通过将煤炭作为当前最主要的碳排放源&能够实现碳达峰'碳中等综合信息分析%但该方法浮选低品质煤泥精度低&无法满足实际应用的要求%B !煤泥浮选过程设计面对上述背景下煤炭浮选方法存在的问题&该研究设计了一种旋流微泡浮选柱!简称\R Y R "&该装置能够在煤泥尾矿库中合理筛选出符合要求的含碳物质&具体装置如图%所示%图%!\R Y R 浮选柱示意图从图%中可以看出&\R Y R 浮选柱大体上分为$个工作区*泡沫区'收集区和清除区&\R Y R 浮选柱洗涤装置和溢流槽位于塔的顶部&入口的位置约为立柱高度的三分之一%煤泥浮选过程中精煤矿从溢流槽排出&尾矿从底流口排出%循环泵与气泡发生器相连&位于塔体外部$当循环泵喷射煤浆时&气泡发生器吸入空气&并将空气与煤浆中的起泡剂混合$然后&在减压过程中释放出大量微气泡%微气泡沿切线方向进入色谱柱&并在离心力作用下旋转移动%气泡和矿化气固骨料通过旋转流中心向上移动&进入收集区%未矿化尾矿向下移动&通过底流排出&进料和气泡的反向运动促进了矿化和气固骨料的形成%图%中&\R Y R 浮选柱的分离过程受到各种影响因素的影响&如柱高'粒度分布'进料灰分含量'浓度'流速'空气流速'洗涤水流速'试剂用量和泡沫深度!矿浆水平"('))%当进料性能稳定时&洁净煤灰含量主要受多种工作条件的影响&如表%(&)所示%如表%可以看出&煤泥浮选是一个复杂的三相过程&涉及到气体'液体和固体(%#)%通过参考多种文献与实验分析表明&影响浮选产品质量的因素很多&各因素之间存在耦合&浮选精煤灰分的在线测量比较困难&但可以采用软测量技术与算法模型解决这一问题(%%)%目前对洁净煤灰分评估模型的研究主要集中在单一模型的建立上&不能完全适应工况的波动和煤种的多样性(%")%为此&本研究提出了一种基于模型更新和多最小二乘支持向量机的浮选精煤灰表%!洁净煤灰含量影响条件影响条件具体描述进料流量当进料流量增加时&浮选柱的处理能力相应增加%需要调整药剂用量和泡沫深度&以确保浮选过程正常%进料浓度进料浓度越大&单位体积的煤浆中的煤颗粒越多&从而降低合并概率和气泡的上升速度%相比之下&粒子碰撞概率增加%这种结构容易导致机械夹带&并增加洁净煤灰含量%泡沫深度随着泡沫深度的增加&泡沫的二次富集作用增强&洁净煤灰含量降低%此外&收集区的高度降低&从而降低回收率%起泡剂用量起泡剂可以将空气分散成纸浆中的小气泡&防止气泡合并%这一过程还可以延长气泡在色谱柱中的停留时间%提高了气泡与煤颗粒的碰撞概率&提高了分离效果%然而&如果剂量过大&很容易发生机械夹带&增加洁净煤灰含量%空气流量空气流量直接影响泡沫层的状态&以泡沫深度'气泡数量和气泡直径为特征%该因素对洁净煤灰分含量和回收率有很大影响%洗水率洗水可以增强二次富集效果&减少高灰分细煤泥的含量%这一过程降低了洁净煤的灰分含量%循环压力循环压力为浮选柱的浓缩和扫气提供动力%随着循环压力的增加&空气流量增加&单位时间内矿浆中气泡数量增加&煤颗粒碰撞概率增加&洁净煤回收率增加%然而&气泡数量的过度增加将导致无用煤矿石的机械夹带$因此&洁净煤的灰分含量增加%分综合评估模型%该方法有效地提高了浮选过程的智能控制水平&实现了浮选过程的闭环优化控制&下文阐述了建立过程%C !煤泥浮选智能优化评估模型的建立本研究设计的综合评估模型大致分为$个部分*首先&建立了基于D F +F bY !G K ?Q 7Q `S ?I K Q +Q S 88C I 7P K 27C IJ ?2B 53K "的单一煤种的单一估计模型&并利用引力搜索算法!>F ;&@I ?P 57?75C 3?G Q K ?I 2B?G @C I 57B J "对其内部参数进行了优化$其次&设计了模型更新策略&解决了单一模型精度下降的问题$此外&为了解决模型失配问题&还研究了由多个单一模型组成的多个D F +F bY Q 模型以及模型切换机制&下文将分别展开论述%C D B !基于=I Q I L )的单一评估模型在实际浮选生产中&当进料相对稳定时&净煤灰含量主要受操作条件的影响%因此&首先建立了单级原煤的洁净煤灰含量评估模型%在D F +F bY 中&用等式约束代替F bY 的不等式约束&因此&算法的复杂度降低&计算速度大大加快&能够满足工业过程的实际要求(%$)%对于D F +F bY 模型的构建过程&首先假设煤泥数据集合%d /!&%&)%"0!&.&)."1&其中.d %&"08&8表示煤泥样本数&&.和).分别是指输入煤泥浮选参数向量与!投稿网址 T T T!1Q 12G M4W !2C J Copyright ©博看网. All Rights Reserved.第%"期郭!伟&等*基于改进型D F +F bY """"""""""""""""""""""""""""""""""""""""""""""""""""技术的煤泥浮选智能优化控制方法#%"%!#之相应的输出煤泥浮选参数向量&通过非线性映射函数将输入煤泥数据映射到高维特征空间(%*)4!#"&建立了回归模型=!&"如式!%"所示(%-)*=!&"+&#H 4!&",*!%"!!式!%"中&&#表示权重向量&*表示偏差%根据目标模型结构风险最小化原则&回归问题可以转化为约束二次优化问题&如式!""所示*C .?[!^&;"+%"^#^,2"$R.+%;".).+^#H 4!&.",*,;.$.+%&"&0&9:;R !""!!式!""中&2是正则化参数&;.是松弛系数%为了解决上述优化问题&该研究引入拉格朗日乘子来获得目标函数&如式!$"所示*"!^&*&;&0"+[!^&;"-$81+%0.@@+/^#4!&.",*,;.-).9:;1!$"!!根据最优系统理论(%()中的X ?I S Q B +X S B 3+9S 24K I !X X 9"条件&可以得到以下线性方程&如式!*"所示*#-Q#Q5,2-%()I *()0+#()I !*"!!式!*"中&5d V !&&&."d 4!&"#4!&."&V !&&&."表示满足Y K I 2K I 定理条件的核函数%最后&回归函数4可以表示为*4!&"+$R.+%0.V !&&&.",*!-"!!通过以上算法过程构建DF +F bY 模型%C D C !数据预处理与模型参数优化为了提高D F +F bY 模型的收敛速度和精度&需要对所有煤泥样本数据进行归一化处理%本研究采用最小最大法&其表达式为*&<.7+&.7-5.?&.50&&.-5.?&.!("!!式!("中&&<.7表示标准化煤泥样本值&&.表示第.个变量的第7个煤泥样本值&50&&.表示第.个变量的最大值&5.?&.表示第.个变量的最小值%煤泥浮选问题是一个复杂的计算过程&影响洁净煤质量的变量很多&为了去除冗余信息&降低D F +F bY 的计算复杂度&同时保留最大的数据信息&采用主成分分析法提取煤泥数据特征&融合变量之间的相关性&降低输入煤泥数据的维数(%')&该过程可描述如下*第%步*给定一个煤泥样本集*&如式!'"所示**+&%%&%"0&%'&"%&%"0&%'77@7&5%&5"0&./015'!'"!!式!'"中&5表示煤泥样本数&'表示煤泥样本特征数&&5'表示第5个煤泥样本的第'个特征%计算*的协方差矩阵0&得到特征值(+%&+"&0&+')%第"步*计算第7个主成分的贡献率$7以及之前1个主成分的累积贡献率!1d%&"&0&'"$&根据式!)"得出*$7++7$'7+%+7$+$%,$"0,$1++%,+"0,+1$'7+%+9:;7!)"!!第$步*构建特征空间!d (&%&&"&0&&')#&得到E d (!A %&!A "&0&!A ')%经过以上步骤的煤泥数据预处理后&选择累积贡献大于)-e 的前1个主成分!A %&!A "&0&!A 1作为DF +F bY 的输入变量%在D F +F bY 建模过程中&模型参数对模型回归的精度有重要影响&本文采用>F ;对D F +F bY 模型的参数进行优化&该算法不需要交叉'变异等进化算子&具有收敛速度快'不易陷入局部极小'全局搜索能力强等优点(%))%>F ;描述如下*假设?@K 37是本研究煤泥浮选优化的智能主体(%&)&A P.表示第.个?@K 37在P 维空间中的位置&经过第'次迭代中&第.个和第7个?@K 37之间的引力F 定义式如下*F P .7!'"+$!'"C .!'"C 7!'":.7!'",0!&P 7!'"-&P.!'""!&"!!式!&"中&$!'"是指第'次迭代时的引力常数&0是指常参数&:.7!'"是指第.个和第7个?@K 37之间的欧氏距离&C .!'"是指第.个?@K 37的惯性质量&可通过以下公式计算("#)*5!'"+4.'!'"-4.'^!'"4.'*!'"-4.'^!'"C .!'"+5!'"$87+%5!'9:;"!%#"!!式!%#"中&5!'"是指重力质量&4.'!'"是指第.个@K 37在第'次迭代时的适应度值&4.'^!'"是指最差适应值&4.'*!'"是指最优适应值%在P 维中&第.个?@K 37作用引力之和为F .!'"&如式!%%"所示*F .!'"+$7&.60?P 7F P.7!'"!%%"!!式!%%"中&60?P 7是介于(#&%)之间的随机数%根据以上等式&最终得到第.个?@K 37的位置和速度更新迭代过程&如式!%""所示("%)*2!'"+60?P !."2P.!'",F P.!'"C .!'"A !'"+A P .!'",2P.!',%9:;"!%""!!综上所述&本研究采用>F ;用于优化D F +F bY 模型内部参数&算法步骤如下*第%步*初始化总体大小8d $#&最大迭代次数'J ?V d "##&常常数0d%#6(&维度P d"&随机初始化?@K 37的位置%第"步*以目标函数的最小值为优化目标&计算适应度值4.'!'"&并根据等式!%#"与!%%"计算计算惯性质量C .!'"与外力的总和F .!'"%第$步*根据等式!%""更新?@K 37的位置%得到优化后的D F +F bY 参数值%!投稿网址 T T T!1Q 12G M4W !2C J Copyright ©博看网. All Rights Reserved.!!计算机测量与控制!第$#""""""""""""""""""""""""""""""""""""""""""""""""""""卷#%""!#第*步*当达到最大迭代次数或适应值满足目标值时&停止优化过程&以获得D F +F bY 的最佳参数&并根据等式!("和!'"建立单一评估模型$否则&返回第二步%C D E !多个=I Q I L )模型更新策略与构建为了提高单一模型的泛化能力和准确性&本文将离线训练和在线学习相结合&设计了由自动再训练和参数更新组成的模型更新策略("")%假设煤泥浮选过程是一个具有1阶时滞的非线性系统&当系统输入为B !#"时&D F +F bY模型的评估值为3!#_1"&每小时检测的相应实际产量!洁净煤灰含量"为3!#_1"%然后&实际输出和评估输出之间的相对误差:D !#_1"表达式为*:D !#,1"+3!#,1"-3#!#,1"3#!#,1"!%$"!!此外&反馈错误:D !#_1"与设置相对误差:D 进行比较&如果:D !#_1"*:D &这意味着模型的评估能力降低&重新训练程序被激活%然后&使用新煤泥样本重新训练D F +F bY 模型&并使用>F ;更新内置参数&如第"["节所述%在选煤厂中&对于不同类别的煤&煤泥的可浮性可能不同&操作条件也存在相当大的差异("$)%考虑到这一因素&本研究提出了多个D F +F bY 方法%对于每一类原煤&根据第"[%节建立了相应的基于D F +F bY 的评估模型%然后&将多个单一的D F +F bY 模型构造成多个D F +F bY 模型&类似于建立一个大模型%该过程的主要问题是哪个单一模型需要在正确的时间运行("$)&因此&需要研究一种合理的模型切换机制%对于原煤来源不同的选煤厂&通常有两种制备模式*单一原煤制备和混合原煤制备%合理配煤可以保证产品质量&提高经济效益%实际上&不同类别的原煤通常储存在不同的原煤仓中&给煤机安装在每个煤仓下%然后&将不同等级的原煤混合在一起&运输到原煤制备车间("*)&该过程如图"所示%图"!配煤过程示意图对于单一类别的煤炭洗选&通过相应的皮带运行状态直接评估煤炭类别%对于混煤洗选&通常混煤不超过$级&比例根据产品质量要求确定&并通过调整给煤机进行控制%输送带运行状态信号-I .和运行给煤机数量-5.可以用来描述配煤过程&%是相应的煤种%如果原煤类别发生变化&估计模型将切换到相应的单一D F +F bY 模型%值得注意的是&选煤是一个连续的过程$当原煤类别发生变化时&应在一段时间-'.后完成模型切换&'是原煤从原煤皮带到浮选预处理器的运行时间("-"()%综上所述&本研究所提出多个D F +F bY 评估模型的结构如图$所示%图$!D F +F bY 模型结构E !实验与分析为了验证该研究所提出的浮选精煤灰分D F +F bY 评估模型的适用性与可行性&该研究将进行展开具体实验&已在中国c 市选煤厂的工业\R Y R 浮选柱上进行了测试%浮选柱用于分离粒度在#!#["-J J 之间的细煤泥%实验数据来自工业浮选过程&如表"所示%表"!煤泥浮选实验数据e 洁净煤灰含量洁净煤回收尾矿煤灰含量可燃物回收浮选难易程度%#!#"%!&$#!%"(!*困难%%!#-%!$*#!'(%!"正常%"!#(-!*-#!"''!%正常%$!#')!$-$!(&%!"容易具表"所述&在优化操作参数的基础上&根据中国标准Y 9"-&+%&&%对煤泥的可浮性进行了评价&将其大体上分类为一类煤!%#e "'二类煤!%%e "'三类煤!%"e "和四类煤!%$e "%表"表明&通过对c 市选煤厂煤泥的筛选&综合*种煤中粒度在#[#*-J J 以下的煤泥比例达到()[-%e &灰分含量高达*#[%&e &这些参数是煤泥灰分高'可浮性差的主要原因%在本研究中&实验建模数据来自选煤厂的实际工业浮选过程&为了保证模型的稳定性和准确性&需要从工业信号中检测并去除异常值&然后对信号进行滤波%选择:?S 7?准则("')作为异常检测和消除方法&过滤方法采用改进的队列平均过滤器&如式!%$"所示*!投稿网址 T T T!1Q 12G M4W !2C J Copyright ©博看网. All Rights Reserved.第%"期郭!伟&等*基于改进型D F +F bY """"""""""""""""""""""""""""""""""""""""""""""""""""技术的煤泥浮选智能优化控制方法#%"$!#@+初始值%>5+@'8%>5+%>5-@,A @+%>539:;8!%$"!!式!%$"中&8表示常数!此处8d "#"&A 表示最新采样值&@表示过滤值%以煤炭一类为例&浮选过程稳定后收集数据&采用:?S 7?准则从稳态采集的数据中剔除异常值&选取-#组样本%为了验证基于D F +F bY 的单一评估模型的效果&本研究构建计算机实验测试平台&该平台的实验计算机硬件环境为:K 375S J !]"R :O ')核%(>内存("))&电脑的硬盘容量为-%">的硬件环境&软件的操作系统<53L C T Q %#&采用Y ?7G ?U 软件进行仿真&其架构如图*所示%图*!计算机实验架构此外&本研究还使用了文献(*);==算法模型对同一训练集的一类煤进行建模&选择均方根误差!]Y F ^&I C C 7J K ?3Q `S ?I K K I I C I "作为评估模型的性能评估指标&如式!%*"所示*:C %D +%8$8.+%!).-L )."槡"!%*"!!式!%*"中&L )表示DF +F bY 评估模型的输出煤泥浮选评估值&)表示煤泥浮选实际值&两个算法模型测试集的评估值和实际值之间的比较如图-和表$所示%从图-和表$可以看出&基于D F +F bY 和;==的单一模型都能很好地拟合测试数据&但在不同测试样本数的环境下&该研究所提出的D F +F bY 算法模型的]Y F ^均低于文献(-)采用的;==算法模型&能够证明D F +F bY 算法模型是更好的选择&这些结果可能是由于支持向量机在小样本情况下具有很强的泛化能力%此外&如果将%类煤炭图-!两种算法模型评估性能对比表$!两种算法模型评估性能对比测试样本3=;==模型3eD F +F bY 模型3e%#&!%#!#"#%-!)-!$$#%*!$&!-*#%'!"%$!)-#""!"%(!'的单一评估模型应用于"类煤炭&那么D F +F bY和;==的评估精度都会显著降低&从而使评估结果无效%为了进一步验证本研究提出的D F +F b Y 评估模型的可行性&根据上述建模方法&针对不同类别的煤炭&建立了基于D F +F b Y 的不同单一评估模型%从"类'$类和*类煤的每个浮选过程中分别选择%##组样本数据%每小时收集一次浮选精煤样本&并对灰分含量进行分析%在试验期间&原料原煤包括上述四类煤&在工业试验期间的%-天内&对评估结果和操作员的化验结果进行了比较&如图('图'所示%图(!工业试验中估测值与实际值的比较从图(''中可以看出&:C %D 平均值大约为$[$e &低于单一模型的%"[(e &大大超出了符合预期%工业试验结果表明&该模型具有良好的评估效果和工业适用性&这种优势主要是由于以下两点*%"对于单一类别的煤炭&由于过程中的各种干扰&静态评估模型的精度可能会随着时间的推移而降低$因此&!投稿网址 T T T!1Q 12G M4W !2C J Copyright ©博看网. All Rights Reserved.!!计算机测量与控制!第$#""""""""""""""""""""""""""""""""""""""""""""""""""""卷#%"*!#图'!工业试验中的误差分布本研究设计了一种模型更新策略来解决单一模型精度下降的问题%""不同煤种的可浮性以及操作条件有很大差异$因此&为了解决模型失配问题&将不同煤种的多个单一模型结合起来&建立了一个多个D F +F bY 联合评估模型%上述方法提高了综合评估模型的评估精度%F !结束语浮选泡沫为气液固三相混合物$因此&很难在线测量洁净煤的灰分含量%本研究提出了一种基于模型更新和多重最小二乘支持向量机的煤泥浮选综合估算模型%在小样本集的情况下&支持向量机也比神经网络具有更好的估算精度和更强的泛化能力%此外&D F +F b Y 算法模型由于采用了结构风险最小化原理&支持向量机可以有效地避免经典学习算法中的过拟合和局部极小%算法融合了主成分分析法提取煤泥数据特征&强调算法参数之间的相关性&降低输入煤泥数据的维数&去除冗余信息&降低D F +F b Y 的计算复杂度&同时保留最大的数据信息%在本研究中&D F +F b Y 被引入到煤炭浮选过程中洁净煤灰含量的估算中&通过实验证实了该方法的可靠性%然而&本研究发现还有一些问题直接影响到煤泥浮选估算模型的准确性'稳定性和适用性&例如&工作条件的波动'原材料的异质性和原材料类别的变化等&未来会针对这些因素影响效果进一步地研究%参考文献(%)赵!辉&崔广文!聚二甲基硅氧烷对煤泥浮选泡沫的强制消泡研究(,)!洁净煤技术&"#"%&"'!("*"%""%'!(")周子玉&朱纯楚!絮凝剂对煤泥浮选的影响试验研究(,)!煤&"#"%&$#!%%"**(&*-!($)何!琦&郑!茜&车!涛&等!紫外光活化柴油强化低阶煤浮选机理探究(,)!中国科技论文&"#"%&%(!&"*&("&(&!(*)陈!铭!基于深度学习的浮选过程智能控制研究(.)!北京*中国矿业大学&"#"#!(-)曹文艳&王然风&樊民强&等!Y ]Y ]和F F >YY 联合分类模型的煤泥浮选系统药况图像识别(,)!控制理论与应用&"#"%&$)!%""*"#*-"#-)!(().;F 9&.;99;F !9B K I J C 2B K J 52?G Q 7?U 5G 57M&?3LK G K 27I C 3523LL 5K G K 27I 528I C 8K I 75K Q C H ,?3S QU 5Q J S 7BC V M B ?G 5L KZ 5/c !cd R G &Z I &0"J C 3C G ?MK I Q (,)!=?3C Q 2?G K ;L P ?32K Q &"#"#&"!$"*%#&#%#*!(')万刘鹏!智能加药系统在选煤厂浮选系统中的应用(,)!机械管理开发&"#"%&$(!)"*%&%%&"&%&-!())桂夏辉&邢耀文&曹亦俊&等!低品质煤泥浮选过程强化研究进展及其思考(,)!煤炭报&"#"%&*(!&"*"'%-"'$"!(&)吕青川!超声波预处理加强浮选性能研究(,)!煤矿现代化&"#"%&$#!*"*%&%%&$&%&(!(%#)王!晖!基于难浮煤泥表面性质的浮选药剂优化研究(.)!太原理工大学&"#"%!(%%)刁!琦!无机电解质处理对煤泥表面改性及浮选的影响(,)!煤&"#"%&$#!-"*&"&*!(%")陈兰兰&卢东方&王毓华&等!超声波技术在矿物浮选中的研究'应用现状及发展趋势(,)!中国有色金属学报&"#"%&$%!*"*%#*"%#-(!(%$)司玉成!彬县煤泥资源化利用研究(,)!化学工程师&"#""&$(!-"*)'&#!(%*)薛佩洁!不同催化剂对煤泥水热解制备氢的研究(,)!山西化工&"#""&*"!""*%%)%%&!(%-)王!伟!沙坪选煤厂煤泥泥化工艺系统的改造(,)!煤炭与化工&"#""&*-!""*%"'%$%&%$*!(%()谢才秀&张永菊&龙!涛&等!不同实验设计方法在高灰分煤泥浮选优化实验中的应用(,)!矿产综合利用&"#"%!%"*'"'(&-(!(%')周德强!估计灰色b K I B S G Q 7模型参数的D F +F bY 方法及应用(,)!中国管理科学&"#""&$#!$"*")#")(!(%))毛君龙&陈文钢!基于粒子群改进的D F +F bY 阀控式铅酸蓄电池寿命评估(,)!蓄电池&"#""&-&!""*'#'*&)(!(%&)祝添权&初秀民&田国昊&等!基于D F +F bY 的船舶操纵响应模型参数辨识及应用(,)!武汉理工大学学报&"#"%&*$!%""*")$(!("#)曹秀梅&吴自库!基于D F +F bY 的第二类\I K L B C G J 积分方程的数值解(,)!重庆师范大学学报!自然科学版"&"#"%&$)!("*)%)-!("%)蔡!波&黄晋英&杜金波&等!基于Y ^^Y .多特征融合与D F +F bY 的行星齿轮箱故障诊断(,)!中国测试&"#"%&*'!&"*%"(%$"!("")张!梅&陈万利&许!桃!基于D F +F bY 的矿井提升机故障预测(,)!电子测量技术&"#"%&**!%""*'#'*!("$)刘运鹄!基于0;Z R +D F +F bY 的水利工程项目建设成本估算与控制方法(.)!大连*大连理工大学&"#"%!("*)杜锦程&吴福森&陈丙三!D F +F bY 的核参数对概率筛筛分效率预测影响(,)!福建工程学院学报&"#"%&%&!%"*%"%)!("-)张哲铭&李晓瑜&姬!建!基于D F +F bY 的9Z Y 掘进参数预测模型(,)!河海大学学报!自然科学版"&"#"%&*&!*"*$'$$'&!("()王伊婧心&刘!宇&于仁清&等!基于经验模态分解与D F 6F bY 的故障预测方法(,)!舰船电子工程&"#"#&*#!%%"*%"#%"*!("')钱文萍!寺家庄选煤厂细煤泥浮选提质的可行性研究(,)!煤炭加工与综合利用&"#"#!%#"*%(%&&"*!("))李秀芹!高灰细粒难浮煤泥浮选工艺研究(,)!山东煤炭科技&"#"#!""*%)"%)*!!投稿网址 T T T!1Q 12G M4W !2C J Copyright ©博看网. All Rights Reserved.。
基于改进LS-SVM的雷达故障诊断技术
基于改进LS-SVM的雷达故障诊断技术王旭婧;陈长兴;赵学军;任晓岳【摘要】In order to solve the complexity of traditional radar fault diagnosis process,longer diagnosis and potential room for accuracy,a new radar fault diagnosis model has been devised in this paper which introduced Least Squares Support Vector Machine (LS-SVM)into radar fault diagnosis. This method has solved the classification and function estimate problem well,speeded up the diagnosis, improved robustness and rarefaction in LS-SVM and increased the accuracy of the fault diagnosis. Contrast the effects of improved LS-SVM and traditional neural network used in radar fault diagnosis through the actual example simulation in a certain type,and simulation examples show that this method,compared with traditional neural network,has more efficiency and accuracy in radar fault diagnosis.%针对传统雷达系统故障诊断流程复杂、诊断时间长且准确率仍有上升空间的问题，将改进最小二乘支持向量机算法引入到雷达系统故障诊断中，建立雷达故障诊断模型。
一种基于LS-SVM和模板匹配修正的抗几何攻击数字水印技术
一种基于LS-SVM和模板匹配修正的抗几何攻击数字水印技术陈慧;陈建华【摘要】数字水印技术是信息隐藏的一个重要方向,传统的数字水印技术对一般攻击的防御能力较强,但几何形变攻击的数字水印在提取时仍然有难度,提出一种基于最小二乘法支持向量机和模板匹配修正的数字水印技术.首先,用分块离散余弦变换进行水印嵌入,然后利用训练后的最小二乘法支持向量机粗修正几何形变参数,针对存在的误差采用模板匹配方法进行精细修正.实验证明的算法不仅可以抵抗传统的攻击比如:噪声、滤波和裁剪,在抵抗几何形变时鲁棒性更好.【期刊名称】《哈尔滨师范大学自然科学学报》【年(卷),期】2018(034)001【总页数】7页(P44-50)【关键词】离散余弦变换;模板匹配;最小二乘法支持向量机【作者】陈慧;陈建华【作者单位】滇池学院;云南大学【正文语种】中文【中图分类】O189.3+20 引言随着网络技术的发展，可以快速和容易的获取各种多媒体数据，比如音乐、图片、电子书和视频等，因此，知识产权的保护越来越引起重视.数字水印作为保护版权的有效办法，也是信息隐藏技术研究领域的重要分支.数字水印技术是将一些标识信息即水印直接嵌入数字载体当中，且不影响原来载体的使用价值，也不容易被探知或再次修改，但可以被生产方识别和辨认[1].不同领域的对数字水印有不同要求，不可感知性和鲁棒性是它的基本特征，即嵌入水印图像在视觉上没有差别，水印受到攻击时仍能被恢复，只有满足这两个特征数字水印无论在何种载体中才是安全可靠的.近年来关于数字水印技术提出了许多算法，其中基于学习机的算法越来越受到重视，其在几何攻击的水印提取中具有较好的鲁棒性.在论文中，Chang [2]提出了基于奇异值分解(SVD)和SVM的数字水印技术，Zheng[3]利用SVD 和LS-SVM结合的算法用于数字水印的盲检测，两篇论文中的奇异值分解是利用矩阵稀疏性的特点避免大规模计算矩阵的特征值和特征向量因而运算量较小，但SVD对几何形变不敏感，SVM或LS-SVM对几何攻击的识别有局限性，因此抗几何攻击能力稍弱；论文[4]中Yang提出了极谐变换和支持向量机盲检测受到几何攻击的数字水印图像，极谐变换的计算公式简单，但水印嵌入图像在遭到旋转攻击时候鲁棒性稍差；Wang [5]在论文中提出了用模糊支持向量机来进行学习几何攻击参数，此方法可以改进SVM或LS-SVM对几何形变学习的局限性，但是模糊支持向量机识别几何攻击参数仍然是不连续的，几何攻击后提取水印的鲁棒性差些.根据以上分析，要寻找一种适用于受到几何攻击的水印图像盲提取且鲁棒性更好的算法.由于DCT变换对几何形变的敏感度高且能嵌入水印图像的比特数多，所以选择基于DCT变换的水印嵌入和提取.在实际应用中SVM对几何攻击的参数识别高，该文基于LS-SVM进行训练和矫正几何攻击参数，选取主成分分量作为向量机的学习特征，在回归分析过程会产生误差时，通过对水印图像对应位置的比特值和粗矫正后嵌入水印图像提取水印对应位置的比特值进行模板匹配的方法来对LS-SVM的识别结果进行精细修正.如上分析所述，模板匹配可以修正最小二乘法支持向量机在学习后识别时的旋转角度、平移、缩放参数的误差，因而该文数字水印图像算法是对基于支持向量机的水印算法的改进.1 基于DCT变换和模板匹配修正的最小二乘法支持向量机的数字水印技术总体思路该文先基于DCT分块变换得到数字水印嵌入图像，对数字水印嵌入图像进行不同的几何攻击作为训练样本集，分别提取每个训练样本的主成分分量进行LS-SVM的学习，再对任意一幅受到几何攻击的水印嵌入图像也提取主成分分量，用LS-SVM来识别受到几何攻击的参数，并对识别的水印嵌入图像进行粗修正.由于修正存在误差，该文利用模板匹配来精细修正的LS-SVM识别几何攻击的参数.首先选取水印图像的左上角作为匹配模板，粗修正后的水印嵌入图像从第一个8×8块开始，选取可能包含水印图像左上角像素的DCT块作为模板首先进行DCT 变换，对应低频系数进行水印图像对应像素点的提取，并且和匹配模板进行比对，通过模板匹配精细修正几何攻击参数，修正后的水印嵌入图像完成水印提取，具体框图如图1所示.图1 几何修正过程2 基于DCT变换的数字水印嵌入离散余弦变换(DCT)是该文完成水印嵌入和提取的基础，它类似于离散傅里叶变换，只在实数域变换因此大大减少运算量[6].二维DCT变换公式：(1)二维IDCT逆变换的公式：(2)其中图像信号经过二维DCT变换后降低了图像变换系数之间的相关性，且能将数据块能量集中，压缩到低频系数中有利于图像的传输、水印嵌入等.基于DCT变换数字水印嵌入算法的基本原理是将空间域图像变成频域，然后将水印信息嵌入其低频系数矩阵中，最后将频域转换成空间域以完成图片的水印的嵌入，具体过程如下：Step1: 将M×M载体图像分成8×8的子块，每一个子块进行DCT变换，其变换后矩阵记为P(i,j),1≤i≤8,1≤j≤8，其中P(1,1)为直流系数，低频系数为矩阵其他部分.Step2: 将N×N水印图像先进行置乱变换，按照每隔3个子块的顺序存入1 bit ，嵌入到矩阵P(i,j)的左上角低频系数P(1,2)中，新的低频系数记为t=P*(1,2).Step3: 水印图像嵌入低频系数矩阵具体过程[7]为：z=mod(t,N)t=Step4: 将嵌入后的图像进行IDCT变换，并且按顺序存回重构得到嵌入水印的图像I′.3 基于DCT变换的数字水印提取基于DCT变换数字水印提取算法的具体过程如下：第一步：将水印嵌入图像进行8×8的DCT变换，其变换后矩阵为Q(i,j)1≤i≤8,1≤j≤8；如果没有攻击则Q中的低频系数Q(1,2)=P*(1,2)，如果有攻击并经过粗修正后的水印嵌入图像的低频系数t′=Q(1,2)系数中可以提取图像W. 第二步：图像W 按低频系数由下面公式[7]得到：z=mod(t′,N)第三步：提取的图像W进行逆置乱变换，完成水印图像的提取.4 最小二乘法的支持向量机(LS-SVM)Vapnik等学者在多年研究统计学习理论基础上对线性分类器提出了另一种设计最佳准则，从线性可分扩展到线性不可分的情况、甚至扩展到使用非线性函数中去，这种分类器被称为支持向量机[8].几何攻击的水印嵌入图像需要进行修正，而支持向量机是几何修正的常见的一种方法，也是有监督的学习模型，该文用来进行几何攻击参数的回归分析.SVM学习模型是一种凸优化问题，利用已知的有效算法发现目标函数的全局最小值，而其他算法如聚类算法和人工神经网络都采用一种基于贪心学习的策略来搜索既定空间，这是一个获得局部最优解的方法.SVM是通过一个非线性映射，把样本空间映射到一个高维乃至无穷维的特征空间中，使得在原来的样本空间中非线性可分的问题转化为在特征空间中的线性可分的问题.SVM通过最大化决策边界的边缘来控制模型的规模，但是必须提供其他参数，比如使用的核函数类型.核函数的选择是SVM的关键步骤，可以生成不同的SVM，常用的核函数有以下4种：(1)线性核函数K(x,y)=x·y.(2)多项式核函数K(x,y)=[(x·y)+1]d.(3)径向基函数K(x,y)=exp[-|x-(4)二层神经网络核函数K(x,y)=tanh[a(x-y)+b].其中，a、b、 d为常数.该文用最小二乘法支持向量机来做回归分析时采用的核函数为径向基函数，M×M 的水印嵌入图像受到几何攻击后用主成分分析的方法做特征提取，其基本原理是基于K-L变换提取受到几何攻击的水印嵌入图像的部分特征向量构建主成分分量，具体步骤如下：第一步： n个受到几何攻击的水印嵌入图像x={xi,xi,…,xi}∈Rm，其中xi(i=1,2,,…,n)是m维的列向量，m=M×M，对训练样本构造协方差矩阵为：其中为训练样本的均值.第二步：通过样本协方差矩阵S求解r个非零特征值，对每个λj(j=1,2,…,r)为第j 个特征值，根据特征值大小排序，即λ1≥λ2≥…≥λr>0.第三步：每个特征值对应的特征向量为Uj(j=1,2,…,r)，取前p个特征向量的第一列为主成分向量，U11称为第一主成分向量，U21 称为第二主成分分量，…，Up1称为第p主成分分量.由于LS-SVM进行嵌入水印图像的几何校正需要的主成分向量维数较少，因此，只选取4个低阶的主成分向量作为训练样本的特征向量定义为(c1,c2,c3,c4)，需要回归分析的旋转角度、平移和缩放参数定义为(θ，μ，α)，假设训练样本集为Et(t=1,2,…,n)、Ep(p=1,2,…,n)、Eq(q=1,2,…,n)，则LS-SVM模型可以用来构建.在LS-SVM学习过程是离散的，识别过程中旋转角度、平移和缩放参数(θ，μ，α)会有偏差，所以用模板匹配的方法进行修正.5 模板匹配由于LS-SVM的几何攻击参数学习是离散的，不能精确判定几何攻击后水印嵌入图像的上述参数，回归过程存在误差.该文用LS-SVM粗修正后的水印嵌入图像和水印图像进行像素点的模板匹配算法修正旋转角度、平移和缩放参数(θ,μ,α)的误差值，使几何攻击的参数更加精确，为提取水印图像做准备.模板匹配是一种最原始、最基本的模式识别方法，研究某一特定对象物的图案位于图像的什么地方，进而识别对象物，这就是一个匹配问题，常用的标准有相关法和误差法.以旋转角度为例说明相关法为标准的模板匹配进行几何攻击参数修正的过程，一般选取水印嵌入区的数个角点附近嵌入的水印比特作为模板，因其对几何攻击更敏感，设T(a,b)(1≤a≤n,1≤b≤n)是该模板，n通常取4.S(w,h)是在LS-SVM粗修正后水印嵌入图像里可能包含T(a,b)的DCT变换块提取的4×4个比特作为匹配对象，以粗修正后水印嵌入图像中默认水印嵌入区的角点坐标为中心，确定一定大小的搜索区(比如3×3)，然后按1/2像素为步进单位，在搜索区中上下左右移动提取S(w,h)，并与T(a,b)进行相似性比较，当在搜索区中提取的S(w,h)的比特与T(a,b)对应位置的比特的相似度(即归一化系数NC)超过某个门限(通常取0.9)，则认为找到水印嵌入区角点的候选坐标，然后对所有找到的候选角点坐标按其相似度高低进行加权平均得出最终的水印嵌入区角点坐标估计值.实际实现时，按1/2像素步进式移动提取S(w,h)的过程是通过将被搜索图像进行相反方向的移动来完成，以保证被搜索图像可以进行适当的差值.可以用公式(3)衡量S(w,h)和T(a,b)的相似性，即归一化系数NC：以被粗修正的水印嵌入图像中心作为坐标中心点，对其中假定的水印嵌入区角点坐标和经模板匹配估计出的角点坐标进行比对得到修正的角度，再进行相应的角度修正从而完成模板匹配精细修正几何攻击的工作.6 仿真实验(1)实验中，载体图像来自于标准测试库256×256的灰度图像Lena、Woman、Camera图像如图1所示，数字水印图像是16×16二值图像，如图2所示，分别基于DCT变换进行Lena、Woman、Camera图像的数字水印嵌入，如图1所示，数字水印的算法在MATLAB R2014中实现.图1 a～c Lena、Woman、Camera原始图像图2 d～f Lena、Woman、Camera水印嵌入图像通常对含有水印的图像进行评价的标准有峰值信噪比和归一化相关系数，峰值信噪比PSNR是设Iij和分别表示原始和嵌入水印后的图像，m和n分别是图像的行和列数，则公式为：(4)上文中三幅嵌入水印图像和文献[3]、[4]算法的峰值信噪比见表1.表1 嵌入水印的图像峰值信噪比PSNR图像该文算法算法[3]算法[4]Lena37.154136.271337.0976Woman39.462840.154739.1654Camera38.1 72637.698335.6945(2)该文选用Barbara、Mandrill、Peppers、Couple、Boat、Clock、Girl、Bridge八幅水印嵌入图像作为LS-SVM的训练样本，用Lena、Woman、Camera水印嵌入图像作为测试样本来验证模板匹配对回归学习参数的修正结果，见表2.表2 模板匹配修正的LS-SVM测试图像性能(旋转角度，平移，缩放)旋转角度30平移(H20,V20)缩放0.5图像该文算法LS-SVM该文算法LS-SVM该文算法LS-SVMLena30.0132.1519.25,19.7818.67,18.450.510.58Woman30.2332.0419.32 ,19.5319.61,19.380.490.52Camera29.8629.7120.41,20.0720.32,20.180.480.41 (3)同样，可以用归一化相关系数NC来评价提取的水印和原始水印信号的相似性，嵌入水印的Lena图像进行一般攻击和几何攻击后，利用该文算法对水印提取，并计算归一化相关系数NC，见表3、表4.表3 受到一般攻击的嵌入水印Lena图像水印提取结果(NC) 一般攻击该文算法算法[3]算法[4]中值滤波0.827890.810980.90287椒盐噪声0.833190.769800.85098裁剪(32,32)0.826780.743980.78093表4 受到几何攻击的嵌入水印Lena图像水印提取结果(NC)几何攻击该文算法算法[3]算法[4]旋转角度(45)0.766760.718650.79231平移(H 20,V20)0.786530.720250.76256缩放(0.5)0.852590.867540.87233(4)嵌入水印的Lena图像受到一般攻击和几何攻击后的水印提取图，如图3所示. 图3 a 低通滤波、b 椒盐噪声、c 裁剪(32,32) 、d 旋转45度、e 平移(H20，V20)、f 缩放0.5攻击后Lena水印嵌入图像提取的数字水印综上分析，通过表1可以看出该文算法PSNR接近40dB，满足水印嵌入图像高峰值信噪比要求并且具有水印图像具有隐藏性；从表2中看出利用该文算法可以修正受到几何攻击的水印嵌入图像在LS-SVM回归旋转角度、平移和缩放参数时的偏差，且模板匹配的方法对参数修正的结果比单独LS-SVM学习的结果好；表3和表4反映出该文算法提取出的水印质量高，NC值接近于1；图3得出该文算法可以较清晰的提取出水印图像，受到几何攻击时算法的鲁棒性更好.7 结论随着数字水印技术日趋完善，该文提出的算法能够修正以往基于LS-SVM在受到几何攻击的数字水印提取中，旋转角度、平移和缩放系数不准确的问题，在模板匹配的修正过程中可以更好的确定参数.实验证明，该文的算法有助于提高数字水印的鲁棒性和峰值信噪比.参考文献[1] 周国瑞.小波与数字水印理论及应用研究[D]. 成都: 电子科技大学, 2010.113-115.[2] Chang C C, Tsai P, Lin C. SVD-based digital image watermarking scheme. PatternRecognit Lett,20015, 26 (10):1577-1586.[3] Zheng PanPan, Feng Jun, Li Zhan,et al. A novel SVD and LS-SVM combination algorithm for blind watermarking. Neurocomputing,2014,142:520-528.[4] Yang Hongying, Niu Panpan. Robust image watermarking approach using polar harmonic transforms based geometric correction. Neurocomputing, 2016,174:627-642.[5] Wang Xiangyang, Yang Hongying, Chang Ying Cui. An SVM-based robust digital image watermarking against desynchronization attacks. IEEE Transactions on Singal Processing,2008,88:2193-2205.[6] Martucci S A. Symmetric convolution and the discrete sine and cosine transforms. IEEE Trans Sig Processing,1994,42:1038-1051.[7] 何东健. 数字图像处理. 西安: 西安电子科技大学出版社,2015.207-209.[8] Vapnik V. The Nature of Statistical Learning Theory. Springer, New York, 1995.。
基于改进LS-SVM的来波方位估计
基于改进LS-SVM的来波方位估计
李鹏飞;张旻
【期刊名称】《计算机工程》
【年(卷),期】2010(036)006
【摘要】提取已知方位信号的协方差矩阵的上三角部分作为样本特征,构建方位估计模型.针对最小二乘支持向量机最优参数难以选定的问题,采用实值编码的启发式遗传算法,以模型的来波方位估计性能为目标,实现基于高斯核函数的SVM参数优化,提高了来波方位估计精度.实验结果表明,该方法估计精度较高、实时性好,在无线电测向领域具有广阔应用前景.
【总页数】3页(P204-205,209)
【作者】李鹏飞;张旻
【作者单位】解放军电子工程学院309研究室,合肥,230037;安徽省电子制约技术重点实验室,合肥,230037;解放军电子工程学院309研究室,合肥,230037;安徽省电子制约技术重点实验室,合肥,230037
【正文语种】中文
【中图分类】TN975
【相关文献】
1.一种基于独立成分分析的水下宽带信号波达方位估计方法 [J], 李子高;李淑秋;闻疏琳
2.基于混合范数的来波方位估计 [J], 谢前朋;王伦文
3.基于延时相关的稀疏恢复高分辨来波方位估计 [J], 谢前朋;王伦文
4.基于互相关协方差矩阵的改进多重信号分类高分辨波达方位估计方法 [J],
5.基于稀疏表示理论的来波方位估计新方法 [J], 罗争;龚坚;吴林
因版权原因，仅展示原文概要，查看原文内容请购买。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
2014. 3(1)
侯雨坤，等：基于 LS-SVM 的改进统计降尺度方法
因子间的统计关系：
式中， Rt* 为模拟期第 t 天回归模拟得到的降雨雨量转
ˆtj + ε ˆt2 , , u ˆt1 , u = wt F1t u
(
)
(3)
ˆt1 , u ˆt2 , , u ˆtj 为挑选出来的 j 个大尺度气象因子； 换量；u
1. 引言
降尺度方法就是将大尺度的预报因子经过一系
作者简介：侯雨坤(1991-)，男(汉)，江苏南京，武汉大学水文学及 水资源系，硕士研究生，主要从事气候变化对水循环影响。
列处理，降解到小尺度区域上，使之能够与水文模型 输入的尺度匹配。由于发展具有更高分辨率的 GCM 在计算量上过于庞大，对于尺度的降解作用十分有限， 目前主要采用统计降尺度与动力降尺度两种方法。动
式中，M obs 率定期实测 Rt* 的均值；M calibration 为率定期 通过回归得到的 Rt* 确定性部分均值。 得到完整的时间序列， 如下： 最后， 将 Rt* 值还原，
水资源研究 OPEN ACCESS
72
Journal of Water Resources Research
2014. 3(1)
侯雨坤，等：基于 LS-SVM 的改进统计降尺度方法
力降尺度方法通过内嵌全球气候模式，具有较为明确 的物理意义[1]，但是相比较而言，统计降尺度方法的 计算量较小，并且模型算法的构建相对简单，有众多 形式较为灵活的模型可供选择[2]。 目前，统计降尺度方法越来越多地作为有效的工 具应用到研究中[3-7]。Guo 等应用 ASD 降尺度方法黄 河流域降雨变化进行预测，得出 2010~2099 年 A2、 B2 不同情景下的年降雨量趋势变化；Chen 等采用改 进的平滑支持向量机， 利用 CGCM2 与 HadCM3 两种 模式在 A2 情景下的输出，预测汉江流域未来的降雨 趋势变化，为南水北调工程提供了有效的科技支持； 褚健婷等将 SDSM 模型应用到海河流域进行未来降 雨、蒸发的预测，取得了较好的效果；Chen 等通过将 多种 GCM 模式与水文模型耦合进行预测的结果对比， 得出 NSC 与 RSR 是评价 GCMs 输出因子与水文模型 耦合效果优劣的关键统计指标的结论；Jeong 等采用 多元回归、稳健回归、岭回归及人工神经网络方法对 于加拿大不同省份进行气温的预测，通过比较不同方 法取得的效果，认为多元回归在加拿大大部分地区最 为适用，而稳健回归、岭回归的效果相对较差。 统计降尺度由于所需数据较动力降尺度少很多， 找出气象因子与气候数据之间的合适的回归关系较 为灵活，所以具有巨大的发展空间。我们可以通过模 型改进等多种手段对统计降尺度算法进行优化，同时 对于不同地区及流域建立不同参数的统计降尺度模 型，从而达到用少量气象数据获得较好降尺度效果的 目标，其研究意义十分明显。而在众多统计降尺度模 型中，Chen 等的研究表明，SVM 回归比一般回归模 型拥有更强的学习能力，在长序列气象数据情况下基 于 SVM 回归的模型降尺度效果较一般回归更好，具 有进一步研究的潜力。因此，在此基础上，本文主要 讨论以 SVM 算法作为模型核心的统计降尺度的原理 方法及应用改进。
F1t 为 LS-SVM 回归得到的预报因子与降雨状态之间
(8)
式中， Vobs 为率定期实测 Rt* 的方差； Vcalibration 为率定 期通过回归得到的 Rt* 确定性部分方差；ε 为服从标准 正态分布的随机数； b 值在使用 NCEP 数据进行检验 时，一般取值为 0，当采用 GCM 数据生成未来情景 时， b 值计算如下：
究当中。本文以湘江流域为例，开发了一种基于 LS-SVM 回归的改进统计降尺度算法，并与经典统计 降尺度模型 SDSM (Statistical Downscaling Model)进行比较。结果表明，在湘江流域，无论是降水模拟 和温度模拟，基于 LS-SVM 回归算法的改进统计降尺度方法都能达到 SDSM 的效果，而温度的模拟， LS-SVM 回归降尺度方法模拟结果更好。为了使得这种方法能更适合气候变化对水资源的影响研究， 还需要在更多的区域进行应用证明。 关键词：统计降尺度；LS-SVM；SDSM
Abstract: The statistical downscaling method has been more and more utilized in the climate change study for its simplicity and flexibility. A statistical downscaling method based on LS-SVM (least squares support vector machines) was developed and compared with SDSM (Statistical Downscaling Model) to test its ability in downscaling precipitation and temperature in Xiangjiang Basin. The results showed that the method based on LS-SVM has the similar performance with the SDSM method in simulating precipitation, while it was superior to SDSM in simulating temperature. The proposed method still needs to be applied to more regions to make it more suitable for studying the impact on water resources under climate change. Keywords: Statistical Downscaling; LS-SVM; SDSM
= b M obs − M calibration
的多元非线性回归关系。最终率定期通过实测降雨资 料与对应时段的大尺度气象因子，获得降雨状态的 LS-SVM 回归关系。 ■模拟期：降雨状态模拟 利用模拟期大尺度因子与率定期获得的回归关 系，结合随机天气发生器原理，进行模拟期降雨状态 的模拟，如下：
(9)
式中， ε 为服从标准正态分布的随机误差项，用以衡 量由于降雨状态阈值设置而带来的降雨状态划分误
e 为一个假设服从高斯分布的误差随机项，参照 ASD
算法[9]，其计算如下：
= e Vobs − Vcalibration ⋅ ε + b
ˆt1 , u ˆt2 , , u ˆtj 为挑选出来的 j 个大尺度气象因子； 差； u
计降尺度一般分为三类：回归分析、天气分型技术及 尽管各类方法采用不同的步骤及算法， 天气发生器[8]。 但都是建立在区域气候是大尺度大气状态的函数这 一重要假设的基础上的。大尺度气候变量(GCM 预报 因子 ) 与区域气候变量 ( 预报量 ) 之间的统计关系可以 用随机或确定性的方法表达，总的来说其关系如下所 示：
1 wt = 0 Rt > threshold Rt ≤ threshold
2. 基于 SVM 回归的统计降尺度算法
2.1. 统计降尺度方法介绍
统计降尺度方法利用长序列观测资料，构建大尺 度 GCM 输出因子与区域气候要素之间的线性或非线 性统计关系，通过验证所构建统计关系的合理性，将 这种统计关系用于 GCM 的尺度降解。较为复杂的统
Hale Waihona Puke 基于 LS-SVM 的改进统计降尺度方法
侯雨坤，陈 华，黄 逍，许崇育
武汉大学水资源与水电工程科学国家重点实验室，武汉 Email: 417680591@ 收稿日期：2013 年 9 月 30 日；修回日期：2013 年 11 月 20 日；录用日期：2013 年 11 月 26 日
摘
要：统计降尺度方法作为一种计算量小、使用灵活的降尺度模型，被越来越多应用到气候变化研
Journal of Water Resources Research 水资源研究, 2014, 3(1), 72-77 /10.12677/jwrr.2014.31012 Published Online February 2014 (/journal/jwrr.html)
Y = F(X )
(1)
式中，Y 代表需要预测的区域气候变量，X 为一系列 GCM 大尺度输出气候因子， F 为建立两者的函数表达 式。
2.2. 基于 LS-SVM 回归的降尺度算法
支持向量机以其模型简单、具有好的推广能力和 全局最优解等特点，被应用月时间序列建模与预测、 智能控制等方面，已经在统计降尺度上得到了应用。 然而，由于其基于二次规划的优化计算方法不适合海 量数据训练，采用最小二乘支持向量机进行函数估计， 改进其优化计算方法以提高其实用性。 本文采用 LS-SVM 回归算法为基础对流域进行降 尺度分析。LS-SVM 的基本思想为：将寻求最优超平 面的算法定义为求最优化解的规划问题， 利用 Mercer 核函数进行数据处理，将样本空间映射至高维乃至无 穷维的特征空间，从而达到用线性学习机处理非线性 数据的能力，以达到更好的拟合效果。与标准 SVM 相比，LS-SVM 回归只需要确定核函数的形状参数和 惩罚系数，而不需要不敏感损失函数的值，这既简化 了计算，又便于实际使用。具体如下： (1) 降雨状态序列的生成 0 ■率定期：降雨状态模型率定 对于率定期的降雨数据，规定一个降雨状态的判 断阈值 threshold， 认为雨量大于该阈值的状态为湿天， 小于该阈值的状态为干天，如下所示。
A Statistical Downscaling Method Based on Least Squares Support Vector Machines
Yukun Hou, Hua Chen, Xiao Huang, Chongyu Xu