2动态过程数学模型参数估计的最小二乘方法

第二章 参数估计的最小二乘方法Least Squares

§2—１静态线性模型参数的最小二乘估计（多元线性回归）

一、 什么是最小二乘估计

系统辨识三要素：模型，数据，准则。

例： y = ax + ε

其中：y 、x 可测；ε — 不可测的干扰项；

a —未知参数。通过 N 次实验，得到测量数据 y k 和

x k k = 1、2、3 …，确定未知参数 a 称“参数估计”。 使准则 J 为

最小 ：

令：∂ J / ∂ a = 0 , 导出 a = ?

称为“最小二乘估计”，即残差平方总

和为最小的估计，Gauss 于 1792

年提出。

min

)(2

1=-=∑=k N k k ax y J 0)(21

=--=∂∂∑=k k N k k ax y x a J

二、多元线性回归

线性模型 y = a 0+ a 1x 1+ + a n x n + ε 式(2 - 1- 1)

引入参数向量: θ = [ a 0,a 1, a n ]T (n+1)*1

进行 N 次试验，得出N 个方程：

y k = ϕk T θ + εk ; k=1、2…、N 式(2 -1- 2)

其中：ϕk = [ 1,x 1,x 2, ,x N ] T (n+1) *1

方程组可用矩阵表示为

y = Φ θ + ε 式（2 -1- 3）

其中：y = [ y 1,y 2, 。。。,y N ]

T (N *1) ε = [ ε1, ε2, 。。。,ε N ]

T (N *1) N *(n+1) 估计准则有：

= （y — Φ θ）T ( y — Φ θ)

(1*N) ( N *1)

⎥⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎢⎣⎡=⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎣⎡=T N T T nN N n n x x x x x x ϕϕϕφ....1...........1...121121211121)(θϕT k N k k y J -=∑=[]

⎥⎥⎥⎦⎤⎢⎢⎢⎣⎡----=)(..)(*)(...)(1111θϕθϕθϕθϕT N N T T N N T y y y y J

J = y T y + θT ΦT Φ θ -y T Φ θ - θT ΦT y

= y T y + θT ΦT Φ θ - 2 θT ΦT y 式（2 -1- 4）

假设：（ΦT Φ）(n+1)(n+1) 满秩，由 利用线性代数的以下两个矩阵对向量求偏导数的公式:

A x A x T =∂∂)( 和 Ax x

Ax x T 2)(=∂∂(必须A 为对称阵) 由ΦΦT 为对称阵 有: y y T T T ΦΦ=∂∂θθ)

( 和 θθθθΦΦ=∂ΦΦ∂T T T

2)( 所以:

y y y y J T T T T T T T ΦΦΦΦΦΦ22)2(-=-+∂∂=∂∂θθθθθθ 令上式等于零，解出参数估计向量：

θ Ls =（ΦT Φ）-1 ΦT y 式（2 -1- 5）

令：P = （ΦT Φ）-1 则参数估计向量 θ Ls = P ΦT y

参数估计向量 θ Ls 被视为以下“正则方程”的解：

（ΦT Φ）θ = ΦT y 式（2 -1- 6）

注：为了便于区别, 我们用红体字符表示估计量或计算值，而用黑体表示为参数真值或实际测量值。

又 02)22()(22>ΦΦ=Φ-ΦΦ∂∂=∂∂T T T y J θθ

θθ 所以θ Ls 使J 为最小。

0=∂∂θ

J

三、关于参数最小二乘估计θLs性质的讨论

以上求解参数最小二乘估计θLs时并为对{ εk }的统计特性做任何规定，这是最小二乘估计的优点。当{ εk }为平稳零均值白噪声时，则θLs有如下良好的估计性质：

a) 参数最小二乘估计θLs是y的线性估计

θLs= PΦT y 是y 的线性表出；

b) 参数最小二乘估计θLs是无偏估计，即E θLs= θ（参数真值）[ 证明]：E θLs= E[ PΦT y ]= PΦT E( y ) = PΦT E ( Φθ + ε ) =

PΦTΦθ + E( ε ) = θ + 0 = θ

c) 最小二乘估计θLs 的估计误差协方差阵是σ2P (n+1)(n+1)

即：E [ ( θLs- θ ) (θLs-θ )T ] = σ2P

[ 证明]：E [ ( θLs- θ ) (θLs - θ )T ] = E [ PΦT ( y -

Φθ) ( y-Φθ)TΦP] = E [ PΦT εεT ΦP ] = PΦT E ( εεT) ΦP =

PΦTσ2 I N*NΦP = PΦTΦσ2P=σ2P

d) 若{ εk }为正态分布零均值白噪声时，则θLs是线性无偏最小方差估计（证明从略）。如若{ εk }是有色噪声，则θLs不具有上述性质，即为有偏估计。

四、最小二乘估计θLs的几何意义和计算问题

1. 最小二乘估计的几何意义

最小二乘估计的模型输出值为y k= ϕk T θLs k = 1,2,…N

输出实际测量值与模型输出值之差叫残差：εk = y k –y k

模型输出向量为y = ΦθLs ，而残差向量为：

ε= y –y= y–ΦθLs

ΦT ε= ΦT y –ΦTΦ（ΦTΦ）-1 ΦT y=ΦT y –ΦT y= 0

即残差向量ε与由测量数据矩阵Φ的各个向量：Φ1, Φ2 ,…, Φ

张成的超平面（估计空间）正交，而最小二乘模型输出向量y 为N

实际输出向量y 在估计空间上的正交投影，这就是最小二乘估计的几何意义。

最小二乘估计的几何意义

2. 关于最小二乘估计计算中的病态问题

估计参数向量θLs一般是求解正则方程：

（ΦTΦ）θ = ΦT y 式（2 -1- 6）

得出。可以利用消元法等一系列求解多元线性一次方程组的方法，计

算得出，其有解的条件是（ΦTΦ）=P –1 矩阵非奇异（行列式数值大于零）。但有时在求解式（2 -1- 6）方程组是会出现矩阵接近于奇异（行列式数值接近于零），即所谓“病态”的情况。由此导致参数估