最小二乘法在系统辨识中的应用

最小二乘法在系统辨识中的应用

王文进

控制科学与控制工程学院 控制理论与控制工程专业 2009010211

摘要：在实际的工程中，经常要对一个系统建立数学模型。很多时候，要面对一个未知的系统，对于这些未知系统，我们所知道的仅仅是它们的一些输入输出数据，我们要根据这些测量的输入输出数据，建立系统的数学模型。由此诞生了系统辨识这门科学，系统辨识就是研究怎样利用对未知系统的输入输出数据建立描述系统的数学模型的科学。系统辨识在工程中的应用非常广泛，系统辨识的方法有很多种，最小二乘法是一种应用及其广泛的系统辨识方法。本文主要讲述了最小二乘估计在系统辨识中的应用。

首先，为了便于介绍，用一个最基本的单输入单输出模型来引入系统辨识中的最小二乘估计。

例如：y = ax + ε （1）

其中：y 、x 可测，ε为不可测的干扰项，a 未知参数。通过 N 次实验，得到测量数据 y k 和x k ，其中k=1、2、3、…，我们所需要做的就是通过这N 次实验得到的数据，来确定未知参数a 。在忽略不可测干扰项的前提下，基本的思想就是要使观测点y k 和由式（1）确定的估计点y 的差的平方和达到最小。用公式表达出来就是要使J 最小：

确定未知参数a 的具体方法就是令：∂ J / ∂ a = 0 , 导出 a

通过上面最基本的单输入单输出模型，我们对系统辨识中的最小二乘法有了初步的了解，

21

()min

N

k k k J y ax ==-=∑1

2()0

N

k

k

k k J x y

ax a =∂=--=∂∑121

N

k

k

k N k

k x

y a x

===

∑∑

但在实际的工程中，系统一般为多输入系统，下面就用一个实际的例子来分析。在接下来的表述中，为了便于区分，向量均用带下划线的字母表示。

水泥在凝固过程中，由于发生了一系列的化学反应，会释放出一定的热量。若水泥成分及其组成比例不同，释放的热量也会不同。

水泥凝固放热量与水泥成分的关系模型如下：

y = a0+ a1x1+…+ a n x n + ε

其中，y为水泥凝固时的放热量（卡/克）；x1~x2为水泥的几种成分。

引入参数向量：θ = [ a0,a1,…,a n ]T

经过N次试验，得出N个方程：y k = ϕk Tθ + εk ; k=1、2…、N

其中：ϕk = [ 1,x1,x2,…,x N ]T

方程组可用矩阵表示为：y = Φθ + ε

其中：y = [ y1,y2,…,y N ] Tε = [ ε1,ε2,…,εN ] T

估计准则：

1

111

1222

1

1...

1...

.........

1...

T

n

T

n

T

N nN

N

x x

x x

x x

ϕ

ϕ

ϕ

⎡⎤

⎡⎤⎢⎥

⎢⎥⎢⎥

⎢⎥

Φ==⎢⎥

⎢⎥⎢⎥

⎢⎥⎢⎥

⎣⎦⎢⎥

⎣⎦

2

1

()

N

T

k k

k

J yϕθ

=

=-

∑

11 11

() ()...()*..

T

T T

N N

y

J y y

ϕθ

ϕθϕθ

⎡⎤

-

⎢⎥⎡⎤

=--⎢⎥⎣⎦

⎢⎥

有

=（y - Φ θ）T ( y - Φ θ)

J = y T y + θT ΦT Φ θ - y T Φ θ - θT ΦT y

= y T y + θT ΦT Φ θ - 2 θT ΦT y

假设：（ΦT Φ）满秩，由

根据矩阵值函数对矩阵变量的导数和数量函数对矩阵变量的导数可以得出以下两个公式：

和

有：

和

所以：

解出参数估计向量：

θ Ls =（ΦT Φ）-1 ΦT y

至此，水泥的凝固放热量与水泥的成分关系模型即建立起来了。

总结：在本文中，主要用到了矩阵里的最小二乘法思想，在具体求解过程中，还用到了矩

J

θ∂=∂A x A x T =∂∂)

(Ax x

Ax x T 2)

(=∂∂θθ

θθΦΦ=∂ΦΦ∂T T

T 2)

(y

y T T T

ΦΦ=∂∂θ

θ)

(y

y y y J T T T T

T T T ΦΦΦΦΦΦ22)2(-=-+∂∂=∂∂θθθθθ

θ

阵值函数对矩阵变量的求导和数量函数对矩阵变量的求导。虽然最小二乘问题在本学期所学的矩阵论里不是作为重点来讲，但最小二乘法在工程中的作用却是难以估计的。有统计史家这样评价，“最小二乘法之于统计学，犹如微积分之于数学”。在任何工程项目中，系统的线性模型永远是一个无法回避的问题，而正是最小二乘法误差分析的研究促进了线性理论模型的发展。