贝叶斯分类器的关联向量机多模型软测量建模

贝叶斯分类器的关联向量机多模型软测量建模
周开武;杨慧中
【摘要】为了改善软测量模型的估计精度,提出了一种基于贝叶斯分类算法和关联向量机的多模型软测量建模方法.采用贝叶斯分类器对样本数据集进行分类,并对不同类别的输入数据分别建立关联向量回归机子模型,用"切换开关"方式组合作为最终的软测量模型输出.将该方法应用于双酚A生产过程的质量指标软测量建模,仿真结果表明:与单模型支持向量机相比,该方法估计精度较高,具有一定的应用价值.【期刊名称】《计算机工程与应用》
【年(卷),期】2011(047)005
【总页数】4页(P224-226,241)
【关键词】多模型;关联向量机;超参数;贝叶斯分类器
【作者】周开武;杨慧中
【作者单位】江南大学,通信与控制工程学院,江苏,无锡,214122;江南大学,通信与控制工程学院,江苏,无锡,214122
【正文语种】中文
【中图分类】TP18
在许多工业控制现场，一些与产品质量密切相关的重要过程变量在现有的技术条件下难于直接测量或不易快速在线测量，为解决该类变量的估计和控制，近年来，人们从推断控制出发，慢慢地形成了软测量技术。

传统的研究方法多采用神经网络建模，支持向量机[1]（Support Vector Machine，SVM）成功解决了神经网络的
过学习问题，具有很好的泛化能力，但是边缘惩罚参数C、不敏感参数ε、核参数K等的选择都影响着估计精度，同时核函数的选择还得满足Mercer条件。

关联向量机[2-3]（Relevance Vector Machine，RVM）由Tipping在2000年提出，它是基于贝叶斯框架构建学习机的一种新的机器学习方法。

它具有SVM的特点，在达到SVM相同性能的同时比SVM使用更少的核函数。

随着关联向量机算法研究的深入，RVM已经应用到故障诊断、时间序列预测、移动目标识别等领域中。

文献[4]通过梯度下降算法寻找最优的高斯核函数的核宽度，即迭代过程中核宽度随着关联向量数（相当于支持向量数）的变化而变化来提高估计精度。

文献[5]提出权重的先验分布服从伽马分布来提高估计精度。

文献[6]为提高估计精度将基函数设定为混合核函数。

针对单个模型难以精确描述复杂非线性对象的问题，Cho等[7]提出通过将几个模型相加来提高模型的估计精度和鲁棒性，目前已普遍认为这是可以获得较好估计效果的一种简单有效的方法。

本文基于多模型思想，采用贝叶斯分类器对样本数据进行分类，并对不同类别的输入数据分别建立关联向量回归模型，多个RVM子模型采用“切换开关”方式组合作为最终的软测量模型输出。

将多模型关联向量机（Multi-Model RVM，MM-RVM）应用于双酚A生产过程的质量指标软测量建模，取得了较好的估计精度。

γi=1-αiΣi,i，Σi,i是Σ 第i个对角元素。

这种方法在RVM更新超参数算法中不是最优选择，但是这个方法简单并且收敛速度快，更加有效的算法参见文献[9]。

权值的估计是由权值后验分布的均值μ给出，即=μ。

权值的最优化由超参数α和噪声变量σ2决定，而最优值αMP和在多次迭代（8）、式（9），同时更新后验统计量μ和Σ而得到，其收敛条件设定为任何一个超参数小于某一个数（10-3）。

关联向量机的重要特征就是，每一个超参数对应一个权值或基函数φj( ) Xi，在迭代过程中，大多数αi→∞，与之对应作为高斯函数分布的权重ωi则趋向于零，非
零的ωi所对应的样本称为关联向量，一般认为当αi=105其对应的μi=0，最终
导致解的稀疏性。

最后，给定新的输入数据x*：
根据式（10），求出估计值 y*。

基于多模型思想，用贝叶斯分类器对样本数据进行分类，并对不同类别的输入数据分别建立关联向量回归机子模型，从而得到k个关联向量回归机。

设新的样本输
入属于每一类的概率为 pi，第i个关联向量子模型的输出为yi( ) x*,μ ，如果
pi=max{p1,p2},…,pk，则软测量模型的最终输出为：
基于贝叶斯分类器的关联向量机模型结构如图2所示。

建立Multi-RVM模型的步骤如下：
（1）用构建好的贝叶斯分类器将训练样本分成k类，由每一类的子样本集构建关联向量回归机子模型；
（3）根据公式（5）、公式（6）计算权值的后验统计量Σ和μ；
（4）利用公式（8）、公式（9）更新参数αnew,(σ2)new；
（5）当αi＞105时，删除αi对应的权值和基函数；
（6）若任何一个αi小于某个数则收敛，则子模型建立；不收敛则回到步骤（3）。

步骤（2）～（6）是建立每个关联向量机子模型。

模型建立以后，对于新的输入
变量，经贝叶斯分类器计算属于第i类的概率 pi，如属于第i类的概率最大，则进入第i子模型，最终计算出其输出为：Y=yi(x*,μ)。

对上述模型，采用了Matlab工具软件进行了模拟仿真实验。

根据提出的多模型关联向量机算法，首先用一个一维函数进行仿真研究，以验证该算法的有效性。

再将该方法应用于双酚A生产过程的软测量建模中。

设函数为。

产生150组样本，其中100组用于模型训练，50组用于测试。

按照提出的MM-RVM方法，首先采用贝叶斯分类器将训练样本集分3类，然后分别建
立基于RVM的3个子模型。

为便于比较，还分别采用单模型支持向量机（SVM），单模型关联向量机（RVM）对该样本数据进行仿真，其基函数均选用高斯核函数。

评价标准采用最大误差（MAXE）和均方根误差（RMSE）：
其中：yi和ˆ分别为实际值和模型的估计值。

RVM和SVM对一维函数测试效果相当的情况下，关联向量个数远远少于SVM 的支持向量数（关联向量数为6，支持向量数是29）。

MM-RVM比前两种方法有更高的估计精度。

仿真结果见表1和图3。

以双酚A结晶塔釜组分的分析数据为例。

软测量模型的输出变量为塔底组分BPA 组分含量，通过分析工艺过程可知影响BPA含量的因素主要有：进料流量、结晶塔内温度、结晶塔内液位，将上述3个变量作为软测量模型的输入变量。

采集了230组质量指标人工分析值和与之对应的现场操作变量数据作为样本数据集。

为消除各个因子由于量纲和单位不同造成的影响，对样本的输入数据进行归一化处理。

将处理后的172组数据用于训练，58组数据用于测试。

模型中基函数均为高斯核函数。

仍然用贝叶斯分类器将训练样本集分为3类，然后分别建立基于RVM的3个子模型。

表2比较了3种方法分别得到的估计误差的各项性能指标，其中平均相对误差（MRE）：
塔底的BPA组分含量估计结果见图4。

图5表示将输出值按从小到大排列，阴影部分根据式（11）算出对应输出估计值的范围，发现极少部分真实值不在估计范围中，这个范围可以弥补数据中的噪声和迭代权重过程中诸多的不确定因数所带来的影响。

从仿真曲线和误差数据来看，MM-RVM方法的估计精度较高，符合工业现场的需要，因此是一种有效的软测量方法。

提出的一种基于贝叶斯分类器的关联向量机的多模型软测量建模方法，应用于塔底的BPA组分含量的估计，通过仿真实验比较，RVM结合多模型方法弥补了单一模型泛化能力差的问题，具有更良好的估计精度。

同时，MM-RVM不仅获得预测目
标量的点估计值，而且获得估计值的分布，这样为一些重要的过程参数的监控和估计提供了更多的有效途径。

[1]Smola A J，Scholkopf B.A tutorial on support vector regression[J]. Statistics and Computing，2004，14：199-222.
[2]Tipping M E.Sparse Bayesian learning and the relevance vector machine[J].Journal of Machine Learning Research，2001，1（3）：211-244.
[3]Tipping M E.The relevance vector machine[C]//Solla S A，Leen T K，Muller K R.Advances in Neural Information Proceeding Systems.Cambridge，Mass：MIT Press，2000：652-658.
[4]Yuan Jin，Bo Liefeng.Adaptive spherical Gaussian kernel in sparse Bayesian learning framework for nonlinear regression[J].Expert Systems with Applications，2009，36（2）：3982-3989.
[5]Zhong Mingjun.A variational method for learning sparse Bayesian regression[J].Neurocomputing，2006，69（16/18）：2351-2355.
[6]Ding Errui，Zeng Ping，Yao Yong.A novel regressive algorithm based
on relevance vectormachine[C]//4th InternationalConference on Fuzzy Systems and Knowledge Discovery，2007：463-467.
[7]Cho S B，Kim J bining multiple neural networks by fuzzy integral for robust classification[J].IEEE Trans on Systems，Man and Cybernetics，1995，25（2）：380-384.
[8]Candela Q J.Learning with uncertainty-Gaussian processes and relevance vector machines[D].Lyngby Denmark：Technical University of Denmark，2004.
[9]Tipping M E，Faul A C.Fast marginal likelihood maximization for sparse Bayesian models[C]//Bishop C M，Frey B J.Proceedings of the 9th International Workshop on Artificial Intelligence and Statistics，Key West，FL，2003：1-13.
【相关文献】
[1]Smola A J，Scholkopf B.A tutorial on support vector regression[J]. Statistics and Computing，2004，14：199-222.
[2]Tipping M E.Sparse Bayesian learning and the relevance vector machine[J].Journal of Machine Learning Research，2001，1（3）：211-244.
[3]Tipping M E.The relevance vector machine[C]//Solla S A，Leen T K，Muller K
R.Advances in Neural Information Proceeding Systems.Cambridge，Mass：MIT Press，2000：652-658.
[4]Yuan Jin，Bo Liefeng.Adaptive spherical Gaussian kernel in sparse Bayesian learning framework for nonlinear regression[J].Expert Systems with Applications，2009，36（2）：3982-3989.
[5]Zhong Mingjun.A variational method for learning sparse Bayesian
regression[J].Neurocomputing，2006，69（16/18）：2351-2355.
[6]Ding Errui，Zeng Ping，Yao Yong.A novel regressive algorithm based on relevance vectormachine[C]//4th InternationalConference on Fuzzy Systems and Knowledge Discovery，2007：463-467.
[7]Cho S B，Kim J bining multiple neural networks by fuzzy integral for robust classification[J].IEEE Trans on Systems，Man and Cybernetics，1995，25（2）：380-384.
[8]Candela Q J.Learning with uncertainty-Gaussian processes and relevance vector machines[D].Lyngby Denmark：Technical University of Denmark，2004.
[9]Tipping M E，Faul A C.Fast marginal likelihood maximization for sparse Bayesian models[C]//Bishop C M，Frey B J.Proceedings of the 9th International Workshop on Artificial Intelligence and Statistics，Key West，FL，2003：1-13.
ZHOU Kaiwu，YANG Huizhong.Multiple model soft sensor with relevance vector machine based on Bayesian classifier.。