基于集成LSSVM增量学习方法研究与应用

基于集成LSSVM增量学习方法研究与应用
石乔;程明
【摘要】针对最小二乘支持向量机(LSSVM)模型在测量精度及泛化能力上的不足,及不能准确预测新工况数据的特点,提出基于集成LSSVM增量学习的模型.通过单个LSSVM模型的建立,构建集成LSSVM增量学习模型,在增量学习方法基础上加入样本判别规则,使模型能及时更新新工况数据.运用集成LSSVM增量学习模型与集成LSSVM模型对溶剂油分离过程的120号溶剂油流量数据进行预测分析,所提模型预测效果显著提高,验证了其有效性.%The LSSVM model has disadvantages of the poor measurement accuracy and generalization ability,and it can not accurately predict the characteristics of the new working data.A model of incremental learning based on integrated LSSVM was proposed.Through the establishment of a single LSSVM model,an integrated LSSVM incremental learning model was built.Based on incremental learning method,the sample discriminant rules were introduced,so that the model updated the new data.The in tegrated LSSVM incremental learning model and the integrated LSSVM model were integrated to predict and analyze the solvent oil flow data of 120 solvent oil separation process.The effectiveness of the proposed method is improved significantly,and the effectiveness of the proposed method is verified.
【期刊名称】《计算机工程与设计》
【年(卷),期】2017(038)010
【总页数】5页(P2827-2831)
【关键词】最小二乘支持向量机;集成模型;判别规则;增量学习;溶剂油分离过程【作者】石乔;程明
【作者单位】南京工业大学电气工程与控制科学学院,江苏南京211816;南京工业大学电气工程与控制科学学院,江苏南京211816
【正文语种】中文
【中图分类】TP391
增量学习法[1,2](incremental learning)与传统基于机器学习的方法相比，是充分利用历史训练的结果；大大缩短了训练时间，可运用于在线学习中；对新增训练样本逐个学习，且逐步淘汰原训练样本集。

文波等[3]提出了基于KKT条件与壳向量的增量学习算法，解决了经典支持向量机难以快速有效地进行增量学习的缺点；陈海燕等[4]提出一种基于信念修正思想的SVR增量学习算法，并将其用于机场噪声预测中。

传统的LSSVM模型对小样本数据处理较好，但存在大样本数据训练时间长、预测效果差，集成LSSVM模型不能准确预测新工况数据等问题。

因此，研究含有样本判别的增量式LSSVM集成学习模型，使得建立的模型快速适应新的工况数据。

最后，将建立的模型用于溶剂油分离过程的120号溶剂油流量预测中，验证改进模型的有效性。

本文采用聚类准则[5]来判断新样本所属的类别。

假设新采集的数据为(xe,ye)，计算其到初始模型中每个子模型聚类中心的距离
式中：de——新样本点到每个欧式距离最近的距离值，Ci——每个子空间的聚类中心。

如果de满足以下条件，则认为该点为离群点，表达如式(2)所示
式中：所有聚类中心的平均值。

计算新样本点xe到原始样本点的距离，并找出与其距离最小的样本点xf
式中：f表示与xe最相近样本点的序列号。

如果d(xe,xf)满足以下条件，则认为该点为需要添加的新工况数据
式中：所有样本之间的平均距离。

如果d(xe,xf)满足以下条件，则认为该点为不可逆点，并删除旧样本点(xf,yf)，用新样本(xe,ye)来替代
在新增样本判别选定后，其具体实现流程如图1所示。

设样本集X={x1,x2,…xn},x∈Rm，其输出样本为yi，则LSSVM算法需要求解的问题如式(6)和式(7)所示
其中，γ为惩罚因子，ei为误差变量。

φ(xi)为映射的核函数。

对式(6)、式(7)引用拉格朗日函数，将约束优化的问题改为无约束优化求解问题式中：α=[α1,α2,…,αn]T是Lagrange乘子。

对式(8)的变量求偏微分，令等式的值为0。

且消除中间变量ω、ei，可得到线性方程组式(9)
式中：为n×n阶单位矩,Ω={Ωkl|k,l=1,…,n}，Ωkl=K(xk,xl)=φ(xk)Tφ(xl)为通过核函数映射后的数据集。

通过求解线性方程组式(9)可以得到α和b的值，并带入式(8)，最后得到LSSVM回归模型，其表达式如下
式中：k(x,xi)为核函数，本文采用RBF函数[7]，定义如式(11)
与2.1节的单个LSSVM模型相比，集成LSSVM增量学习模型的构建增加了对新增样本判别的判断，同时判断其是否是离群点。

具体步骤如下：
步骤1 对初始数据样本聚类；通过式(10)建立单个LSSVM模型；利用偏最小二乘法(PLS)[8]作为合成函数，将各个子模型的输出合成为单输出模型。

基于聚类的LSSVM集成学习模型函数表达式如式(12)所示
式中：c是个体LSSVM个数，sc(x)表示第c个个体子模型。

步骤2 使用本文中的样本判别规则对样本处理；
步骤3 在所有新采集的样本开始学习之前，先设定一个阈值θ，对每一个采集的样本要进行预测，假如相对误差大于θ，则对采集的样本点进行学习，否则将样本点暂时存到放矩阵T中，然后进行下一个样本点的判断。

设矩阵T的最大缓冲长度为L，当存储在矩阵T中的样本个数大于L时，则将矩阵T中存储的第一个样本点剔除。

判断模型的精度是否满足要求，若满足将数据暂存在矩阵T中，否则转到步骤4；
步骤4 使用模糊聚类算法判断该点所属的子模型；
设样本集X={x1,x2,…xn},x∈Rm，将数据集划分为c类，记为(C1,C2,…,Cc)，得到划分矩阵U(X)=[μij]c×n(i=1,…,c,j=1,…,n)，其中μij为样本xj到Ci的隶属度。

FCM准则函数[9]公式如式(13)所示
式中：V为聚类中心集合，V={v1,…,vi}， vi为Ci的聚类中心，d(xj,vi)为样本xj 到Ci的欧式距离，m为模糊度参数。

其中μij和vi的更新表达式如下
步骤5 使用单个LSSVM模型参数更新方法更新模型参数，并重新计算PLS合成函数的参数；
步骤6 转到步骤2，并将矩阵T中的样本一起作为新的学习样本；
基于增量学习的LSSVM集成模型的结构如图2所示。

本实验的工业应用是催化重整工艺中溶剂油分离过程的二侧线流量，即120号溶剂油的流量。

本实验选取某炼油厂连续一周的溶剂油分离过程的数据。

初步筛选出其中的1000组稳态数据，采用五点三次平滑方法[10]对测量的原始数据进行平滑处理以及使用偏最小二乘(PLS)进行主成分提取，选取的主要5个变量见表1。

最后，将1000组稳态数据分成两组，第一组为800个数据样本作为训练样本，第二组为200个作为测试样本。

当溶剂油分离装置的老化、磨损及其它一些原因，会导致运行数据发生改变，且基于集成LSSVM模型的建立是基于历史数据中的，所以其不能对新的工况数据进行
准确的预测。

为了验证本文的基于增量式的LSSVM集成学习模型对新样本的预测能力，在同一时间段内采集50组数据样本进行训练及不同时间段内采集200组样本进行预测，通过两个模型来进行比较。

缓冲区的长度，能影响新工况数据进行增量学习的效率，缓冲区的长度与模型更新时间以及模型预测误差的关系如图3所示。

由图3综合考虑模型更新时间与模型精度选择，相对平均误差阈值设为1.2%左右。

图4和图5分别给出了基于LSSVM集成模型和基于增量式的LSSVM集成学习模型对250组测试样本预测情况。

由图4和图5可知，在同一个时间段内，采集120号溶剂油流量50个样本数据
在两个模型的预测效果差不多，但是随着200个新工况的数据在不同时间段加入，集成LSSVM模型的预测性能明显下降，而集成LSSVM增量学习模型的预测效果明显好于集成LSSVM模型。

表明了根据新工况样本数据的特性，含有样本判别的增量学习模型能及时更新集成模型的参数，使模型保证较好的预测效果。

两个不同模型对测试样本预测的相对误差分布曲线，如图6(a)、图6(b)所示。

由图6可知，在0到50个样本中，两个模型的预测误差除个别点，其它的误差范围都在[-0.1 t/h,0.1 t/h]中，表明了两个模型都有较好的预测效果。

但是随着200个新工况的数据在不同时间段加入，两种模型的预测误差出现了差异性，在后
200个样本数据预测误差绝对值大于0.05的，集成LSSVM模型大约有101个；而集成LSSVM增量学习模型大约有43个，表明了集成LSSVM增量学习模型的
预测能力明显优于集成LSSVM模型，实验结果验证了带有增量学习的集成模型能够对新增加样本进行有效的判别学习来提高模型的预测性能。

前50个数据和后200个数据的均方根误差(RMSE)以及平均相对误差(MRE)的计
算结果见表2。

由表2可知，在前50个测试样本中，两个模型的RMSE以及MRE的结果相近；
而后200个测试样本中，集成LSSVM模型的RMSE以及MRE都明显增加，可以表明集成LSSVM模型对新样本的预测精度不够。

而集成LSSVM的增量学习模型在后200个测试样本数据的RMSE以及MRE相差不大，实验结果验证了带有样本判别的增量学习方法能够有效改善模型对新增样本的预测性能。

该方法对于催化重整工艺中溶剂油分离过程的二侧线流量，即120号溶剂油的生产以及参数的调节有着更为实际的意义。

针对传统的支持向量机(SVM)模型对小样本数据处理较好，但对大样本数据训练时间长、预测效果差等问题，提出了基于样本判别的集成LSSVM增量学习模型。

该模型能对新增样本及时的学习更新，保持着较好的预测效果。

最后将集成LSSVM 增量学习的模型运用于催化重整工艺中溶剂油分离过程的120号溶剂油流量预测中，并与集成LSSVM模型进行了比较,结果表明预测效果明显提高,误差减小。

该算法的提出对溶剂油生产有着重要的指导意义。

【相关文献】
[1]Carlos Cernuda,Edwin Lughofer,Georg Mayr,et al.Incremental and decremental active learning for optimized self-adaptive calibration in viscose production[J].Chemometrics and Intelligent Laboratory Systems,2014,138:14-29.
[2]Galicia HJ,He QP,Wang parison of the performance of a reduced-order dynamic PLS soft sensor with different updating schemes for digester control[J].Control Engineering Practice,2012,20(8):747-760.
[3]WEN Bo,SHAN Ganlin,DUAN Xiusheng.Research of incremental learning algorithm based on KKT conditions and hull vectors[J].Computer Science,2013,40(3):255-258(in Chinese).[文波,单甘霖,段修生.基于KKT条件与壳向量的增量学习算法研究[J].计算机科
学,2013,40(3):255-258.]
[4]CHEN Haiyan,FENG Wen’an,WANG Jiandong,et al.An SVR-based incremental learning algorithm based on belief revision[J].Control and Decision,2015,30(7):1315-1320(in Chinese).[陈海燕,丰文安,王建东,等.一种基于信念修正思想的SVR增量学习算法[J].控制与决
策,2015,30(7):1315-1320.]
[5]Karthik Bharath.On a clustering criterion for dependent observations[J].Journal of Statistical Planning and Inference,2014,147(147):84-94.
[6]Guo Wei,Geng Li,Yan Wu,et al.Application of least squares-support vector machine in system-level temperature compensation of ring laser
gyroscope[J].Measurement,2011,44(10):1898-1903.
[7]ZHAO Cuicui.Research of ensemble incremental learning based on RBF[D].Tianjin:Hebei University of Technology,2015(in Chinese).[赵翠翠.基于RBF神经网络的集成增量学习方法研究[D].天津:河北工业大学,2015.]
[8]LYU You.The research and application of data-based process modeling
methods[D].Beijing:North China Electric Power University,2014(in Chinese).[吕游.基于过程数据的建模方法研究及应用[D].北京:华北电力大学,2014.]
[9]Kannan SR,Ramathilagam S,Chung PC.Effective fuzzy c-means clustering algorithms for data clustering problems[J].Expert Systems with Applications,2012,39(7):6292-6300. [10]WU Wei,CHEN Biao,WU Jianfeng,et al.Study on reverse deduction of reservoir-inflow based on cubical smoothing algorithm with five-point approximation[J].Water Resources and Hydropower Engineering,2013,44(12):100-102(in Chinese).[武炜,陈标,吴剑锋,等.基于五点三次平滑算法的入库流量反推研究[J].水利水电技术,2013,44(12):100-102.]。