基于最小二乘模型的Bayes参数辨识方法

基于最小二乘模型的Bayes 参数辨识方法王晓侃1，冯冬青21 郑州大学电气工程学院，郑州（450001）2 郑州大学信息控制研究所，郑州（450001）E-mail ：wxkbbg@摘 要：从辨识定义出发,首先介绍了Bayes 基本原理及其两种常用的方法,接着重点介绍了基于最小二乘模型的Bayes 参数辨识,最后以实例用MATLAB 进行仿真,得出理想的辨识结果。

关键词:辨识定义；Bayes 基本原理；Bayes 参数辨识中国图书分类号：TP273+.1 文献标识码：A0 概述系统辨识是建模的一种方法。

不同的学科领域，对应着不同的数学模型，从某种意义上讲，不同学科的发展过程就是建立它的数学模型的过程。

建立数学模型有两种方法:即解析法和系统辨识。

L. A. Zadehll 于1962年曾对”辨识”给出定义[1]:系统辨识是在对输入和输出观测的基础上，在指定的一类系统中，确定一个与被识别的系统等价的系统。

一般系统输出y(n)通常用系统过去输出y(n-m)和现在输入u(n)及过去输入u(n-m)的函数描述 y(n)=f(y(n-1),y(n-2)，...，y(n-m y ), u(n),u(n-1),... ,u(n-m u ))=f(x(n),n) x(n)=[y(n-1),y(n-2),...y(n-m y ), u(n),u(n-1),...,u(n-m u )]’这里f(,)为未知函数关系，一般情况为泛函数，可以是线性函数或非线性函数，分别对应于线性或非线性系统，通常这个函数未知，但是局部输入输出数据可以测出，系统辨识的任务就是根据这部分信息寻找确定函数或确定系统来逼近这个未知函数。

但实际上我们不可能找到一个与实际系统完全等价的模型。

从实用的角度来看，系统辨识就是从一组模型中选择一个模型，按照某种准则，使之能最好地拟合由系统的输入输出观测数据体现出的实际系统的动态或静态特性。

接下来本文就以最小二乘法为基础的Bayes 辨识方法为例进行分析介绍并加以仿真[4]。

1 Bayes 基本原理Bayes 辨识方法的基本思想是把所要估计的参数看做随机变量,然后设法通过观测与该参数有关联的其他变量,以此来推断这个参数。

设µ是描述某一动态系统的模型，θ是模型µ的参数，它会反映在该动态系统的输入输出观测值中。

如果系统的输出变量z(k)在参数θ及其历史纪录(1)k D −条件下的概率密度函数是已知的，记作p(z(k)｜θ，(1)k D −)，其中(1)k D−表示（k-1）时刻以前的输入输出数据集合，那么根据Bayes 的观点参数θ的估计问题可以看成是把参数θ当作具有某种先验概率密度p （θ，(1)k D−）的随机变量，如果输入u(k)是确定的变量，则利用Bayes 公式，把参数θ的后验概率密度函数表示成[2]p (θ，kD ）= p (θ｜z (k ),u(k ), (1)k D−)=p (θ｜z (k ),(1)k D−)= (k-1)(k-1)p(z(k)/,D)p(/D )(k-1)(k-1)p(z(k)/,D )p(/D )d θθθθθ∞∫−∞(1)在式(1)中,参数θ的先验概率密度函数p(θ｜(1)k D−)及数据的条件概率密度函数p(z(k)｜θ，(1)k D −)是已知的; k D 表示k 时刻以前的输入输出数据集合,它与(1)k D −的关系是D k ={z(k),u(k), (1)k D−} (2)而u(k)和z(k)为系统k 的时刻的输入输出数据。

原则上说，根据式（1）可以求得参数θ的后验概率密度函数后，就可利用它进一步求得参数θ的估计值。

常用的方法有两种：一种是极大后验参数估计方法，就是把后验概率密度函数p(θ｜kD )达到极大值作为估计准则。

极大后验估计是基于极大化参数θ的后验概率密度函数，它同时考虑了参数θ的先验概率知识。

另一种是条件期望参数估计方法，这两种方法统称为贝叶斯方法，它直接以参数θ的条件数学期望作为参数估计值，即}(|)ˆ(){|k k p d k E D D θθθθθ∞−∞==∫ (3)上式的物理意义是,用随机变量的均值作为它的估计值。

通过分析表明，不管参数θ的后验概率密度函数取什么形式，条件期望参数估计总是无偏一致估计。

可是，条件期望参数估计在计算上存在着很大的困难。

这是因为计算式（3）必须事先求得参数θ的后验概率密度函数，并且式（3）的积分运算比较困难。

因此，一般情况下，条件期望参数估计在工程上是难以应用的。

但是，正如上面提到过的，如果参数θ与输入输出数据之间的关系是线性的，而且数据噪声服从高斯分布，那么式（3）将有准确解。

下面将主要讨论Bayes 方法在这种情况下的模型参考辨识问题。

2 最小二乘模型的Bayes 参数辨识考虑模型 A （z -1）z （k ）=B(z -1)u(k)+v(k) (4) 式中，{ v(k)}是否均值为零、方差为2v σ的服从高斯分布的白噪声序列；且11()1111()1n aA z a z a z n a n bB z b z b zn b −−−⎧=++⋅⋅⋅+⎪⎨−−−=+⋅⋅⋅+⎪⎩(5) 模型阶次n a 和n b 事先给定。

模型（4）可以写成最小二乘格式Z(k)=h T (k)θ+v(k) (6)式中()[(1),...,(),(1),...,()][,...,,...,]11,T h k z k z k n u k u k n a b T a a b b n n a b θ⎧⎪⎪⎨⎪⎪⎩=−−−−−−= (7) 应用Bayes 方法估计模型(6)的参数θ时,首先要把参数θ看做随机变量,然后利用式log (|)|0ˆkp D MPθθθ∂=∂或（3）来确定参数θ的估计值。

显然，无论利用哪个式子求参数估计值都需要预先确定参数θ的后验概率密度函数p(θ｜kD )。

根据式（1），并利用Bayes 公式进行推导，可求得类似于最小二乘递推算法的Bayes 方法的参数递推估计算法为[2][5]l l l ()(1)()[()()(1)]21()(1)()[()(1)()]()[()()](1)T k k K k z k h k k T K k P k h k h k P k h k v T P k I K k h k P k θθθσ⎧⎪⎪⎨⎪⎪⎩=−+−−−=−−+=−− （8） 其中1()()()2K k P k h k vσ=。

3 实例MATLAB 仿真如下图所示的仿真对象，图中是均值为零、方差为2v σ的服从正态分布的不相关随机噪声，且[2]图1仿真对象111111()()(),()()()B z D z G z N z A zC z −−−−−−==1121112112()1 1.50.7()() 1.00.5()10.2A z az z C z B z z z D z z z −−−−−−−−−−⎧=−+=⎪=+⎨⎪=−+⎩模型结构选用如下形式()(1)(2)(1)(2)()(1)(2)121212z k a z k a z k b u k b u k v k d v k d v k +−+−=−+−++−+−以下是Matlab 进行仿真[3]的结果及其分析：Bayes 便是结果见表（1.1）。

仿真结果表明，Bayes 最小二乘辨识递推到第9步时，参数辨识结果达到稳定状态，即12121.5000,0.7000, 1.0000,0.5000a a b b =−===,1d =1.000,231.000,0.2000d d =−=。

此事辨识参数的相对变化量E ≤0.000000005。

表（1.1）Bayes 辨识结果参数 1a2a1b2b1d2d3d真值 -1.5 0.7 1.0 0.5 1.0 -1.0 0.2 估计值-1.50.71.00.51.0-1.00.2图(2)输入信号和噪声模型图(4) 辨识误差图(3) Bayes 参数辨识结果程序中(限于篇幅Matlab 程序略)，预先把参数的估计值矩阵、参数的收敛状况矩阵及系统和模型的响应矩阵的初始值均设定为零，所以，当参数的收敛状况满足要求时，程序就停止运行。

在图(5)中可以看到，各项计算数值和输出数值均变为零的时刻，即为程序停止运行的时刻。

随着E 的取值的减小，程序停止运行的时刻将向后推移。

需要强调指出，加在辨识系统上的噪声是随机噪声，即每次辨识过程中的噪声是惟一的，所以每一次程序运行的中间过程是不同的，但参数辨识的最终结果是一致的。

4 结论本文系统的论证了基于最小二乘模型的参数辨识，并假设参数θ与输入输出数据之间的关系是线性的，而且数据噪声服从高斯分布的情况下，对一个具体的实例运用Matlab 进行仿真试验，使Bayes 方法在这种情况下的模型参考辨识问题得到很好地解决。

参考文献[1] 方崇智,萧德云.《过程辨识》[M] ,北京:清华大学出版社,1988[2] 候媛彬，河梅，王立琦.《系统辨识及其MATLAB 仿真》[M],北京:科学出版社,2004[3] 飞思科技产品研发中心.《MATLAB 7.0辅助控制系统设计与仿真》[M],北京:电子工业出版社,2005 [4] 付华，杜晓坤.基于Bayes 估计理论的数据融合方法，控制理论与应用[J]，2005，（4）：10-12 [5] 董守贵.基于Matlab 的Bayes 实验设计，现代电子技术[J]，2003，（8）：51-54图(5) 输出响应Based on Bayes Parameter Identification with RecursiveLeast Squares MethodWang Xiaokan，Feng DongqingZhengzhou University，Zhengzhou (450001)AbstractThis article embarks from the identification definition，First introduced the Bayes basic principle and two commonly used methods，then with emphasis introduced based on Bayes Parameter Identification with Recursive Least Squares Method，finally uses MATLAB to carry on the example simulation，obtains the ideal identification results。

Keywords：the Identification of Definition；Bayes Basic Principle；Bayes Parameter Identification作者简介：王晓侃（1980-），男，河南新野人，硕士及研究生，研究方向为检测技术及其智能自动化装置；冯冬青（1958-），男，广东佛山人，郑州大学信息与控制研究所所长，教授，博士，研究方向为智能控制理论与应用。