Chapter1最优估计的基本概念.

J n2 (k ) ；N(k)=Z(k)+aZ(k-1)-bU(k-1) 使J=min求a,b
k 1
l
b
.3 最小二乘问题的提法
时不变SISO动态过程的数学模型为
A(z-1)Z(k)=B(z-1)U(k)+N(k) ……(1)
U(k)输入量；Z(k)输出量；N(k)噪声
E{[ X ( H T H ) 1 H T HX ( H T H ) 1 H TV ][ X ( H T H ) 1 H T HX ( H T H ) 1 H TV ]T }
E{( H T H ) 1 H TVV T H ( H T H ) 1}
H T H )1 H T E{VV T }H ( H T H ) 1 ( H T H ) 1 H T RH ( H T H ) 1
J ( ) [ Z (k ) hT (k ) ]
k 1 l 2


J ( ) min 的 估计值记作 称为参数的最小二乘估计
eg： 离散SISO 输入序列{u(1),u(2),…,u(L)} 观测到的输出序列{Z(1),Z(2)，…,Z(L)} 选择下列模型 Z(k)+aZ(k-1)=bU(k-1)+N(k) a,b待辨识 a 写成：Z(k)=-aZ(k-1)+bU(k-1)+N(k)=[-z(k-1)u(k-1)] N (k )
, Z (k na ), U (k 1), , bnb ]T ; k 1, 2,3, ,L
, U (k nb )]T (2)
[a1 , a2 ,
an , b1 ,
则方程(2)构成一个线性方程组，写Байду номын сангаасZL=HL+nL
Z L [ z (1), N L [n(1), , z ( L)]T , n( L)]T
引入目的是便于考虑观测数据的可信度
eg:现时刻加权值大于过去时刻加权值，可选
(k ) l k ;0 1
若线性时不变系统，或数据的可信度难以肯定，可简单选择 (k ) 1
根据噪声的方差对 (k ) 进行最佳选择。得到的估计值称为Markov估计
则J( )=(ZL -H L )T L ( Z L H L ) (l )
hT (1) z (0), , z (1 na ), u (0), , u (1 nb ) HL T h ( L) z ( L 1), , z ( L n ), u ( L 1), , u ( L n ) a b
不同的辨识方法，可用的过程模型一样，只有噪声模型不同。 解决一个实际问题，采用哪种方法取决于模型类的选择，这需要通 过多次试验比较最后才确认。
5.2最小二乘的基本概念
1795年高斯提出，估计理论的奠基石 最小二乘法的两种形式： 1.一次完成算法 2.现代递推算法 过程的IO关系描述成以下最小二乘形式 Z(k)=hT(k) +n(k) 其中，Z(k)：过程的输出分量；h(k)：可观测的数据向量；n(k)：均 值为零的随机噪声。 利用{Z(k)}和{N(k)}极小化，下列准则函数：
(1) L是加权阵，一般为正定的对角阵，与n(k)的关系是L = 0 H L 代表了模型的输出，或者说是过程的输出预极值
过程除受输入量u(k)作用外，还受不确定因素影响，归结为噪声 {u(k)}，{n(k)}平稳s.p.均值为零。谱容度是cosw的有理函数。
D( z ) N (z ) 1 C(z ) 1 c1 z 1
1
1
1 d1 z 1
d nd z nd cnc z nc
(1)的噪声n(k)完全可用一阶和二阶矩描述。设它的均值和协方差阵为
En(1) E{nL } En(l ) E (n 2 (1)), E (n(1)n(2), , En(1)n( L)) Cov(nL ) E (nL nLT ) E (n( L)n(1)), E (n( L)n(2)), , E (n 2 ( L))
3.估计误差的方差阵
r ( X Ls ) E{[ X X Ls ( z )][ X X Ls ( z )]T } E{[ X ( H T H ) 1 H T Z ][ X ( H T H ) 1 H T Z ]T }
E{[ X ( H T H ) 1 H T ( HX V )][ X ( H T H ) 1 H T ( HX V ]T }
J ( x) 2 H T ( Z H X ) x J w ( x) 2 H T W ( Z H X ) x
(1) (2)
上式全为零 当HTH或HTWH为非奇异矩阵 XLs(Z)=(HTH)-1HTZ ……(3) 或XLsw(Z)=(HTWH)-1HTWZ……(4)
使(1),(2)达到极小的充分条件： 2 J ( x) T | 2 H H 0 T x x x x 2 J w ( x) T | 2 H WH 0 T x x ( z ) x x 即(HTH)或(HTWH)为正定阵. (3),(4)是观测数据Z求X的最小二乘估计或加权最小二乘估计的表 达式. XLs(Z)或XLsw(Z)是观测数据Z的线性函数，是线性估计，是以误差 的二次型为性能指标. Zi是标量时，性能指标： k 2 T ( Z H X ) J(X)=(Z-H ) (Z-H )= i 是估计误差的平方和函数. i i 1 所以，上述最优估计XLs(Z)和XLsw(Z)为最小二乘估计或加权最小 二乘估计.
4.W=R-1可得加权最小二乘
1 Lsw
ar ( X Lsw ) |W R1 Var ( X
) ( H T R 1H ) 1 H T R 1RR 1H ( H T R 1H ) 1 ( H T R 1H
5.W=R-1时，加权最小二乘的方差阵达到最小。 对观测误差获得一些统计知识，即EV=0，VarV=E(VVT)=R。若 W=R-1可使估计误差的方差阵Var（XLsw）|W=R-1达到最小。 若R=STS，S为可逆阵， 则许百茨不等式 BTB>=(AB)T(AAT)-1(AB)，其中A=HTS-1， B=SWH(HTWH)-1，AB=HTS-1SWH(HTWH)-1=I 加权W (HTWH)-1HTWRWH(HTWH)-1=BTB>=(AB)T (AAT)-1(AB)= (AAT)-1=(HTR-1H)-1 当W=R-1时，上式取等号，此估计为Matlab估计 XLSR -1(Z)=(HTR-1H)-1HTR-1Z
是加权阵一般为正定的对角阵与nk的关系是代表了模型的输出或者说是过程的输出预极值wlswlswlswls通过极小化的计算的方法称为加权最小二乘法
Chapter1 最优估计的基本概念
1.6 最小二乘估计
最小方差估计须知道X,Z的全部统计特性。 线性最小方差估计精度低一些，但只需知道X,Z的一阶，二阶矩，降 低了对X,Z统计特性的要求。 若对X,Z的统计特性一无可知，仍需对X进行估计，可利用最小二乘 法。(Ganes,1809年)
A(z-1)=1+a1Z-1+· · · +an0Z-n0 B(z-1)=b1z-1+· · · +bnbZ-nb 假定模型降次na和nb已经设定，且na>nb，当取相同的降次n= na = nb 写成最小二乘格式 Z(k)=hT(k) +n(k)
h(k ) [ Z (k 1),
Ls ( x ) Lsw
说明：
1.该方法是线性观测，不需要知道任何实验知识。但
X Ls ( z) (H T H )1 H T Z或X Lsw (H TWH )1 H TWZ
此计算量大。
Z是可有观测数据的全体。需将所有观测数据储存起来统一处理。因
2.XLs(Z)，XLsw(Z)是无偏估计
最小二乘类参数辨识方法
包括最小二乘，增广最小二乘，广义最小二乘，辅助变量法，相 关二重法。 5.1 引言 将过程看作黑箱，只考虑过程的IO特性，不强调过程的机理 输入U(k)输出Z(k)可观测；G(z-1)称为过程模型 描述过程：
nb 1 2 1 b z b z b z B ( z ) 1 2 nb G ( z 1 ) A( z 1 ) 1 a1 z 1 ana z na
r ( X Lsw ) E{[ X X Lsw ( z )]T [ X X Lsw ( z )]} E{[ X ( H TWH ) 1 H TWZ ][ X ( H TWH ) 1 H TWZ ]
E{[ X ( H TWH ) 1 H TW ( HX V )][ X ( H TWH ) 1 H TW ( HX V )]T }

n
推导最小二乘结果时，不需要考虑噪声n(k)的统计特性 1.评价最小二乘估计的性质时，需进一步假设n(k)不相关，且同分布。 即假设{n(k)}是白噪声序列，即 E{nl } 0
Cov{nl } n 2 I
n2是噪声n(k)的方差
2.有时假设 n(k )
N ( , 2 )
n(k )与u (k )不相关 E{n(k)u(k-1)}=0;k , l
E{( H TWH ) 1 H TWVV T H ( H TWH ) 1};W T W
H TWH ) 1 H TWE{VV T }WH ( H TWH ) 1 ( H TWH ) 1 H TWRWH ( H TWH ) 1
R=Var(V)=E(VVT)对称正定阵 以上考虑E(V)=0
求X时不要求Vi的平均值为0,但当Vi平均值为0时
E[ X Ls ( z )] ( H T H ) 1 H T E ( z ) ( H T H ) 1 ( H T H ) E ( x) E ( x) E[ X Lsw ( z )] ( H TWH ) 1 H TWE ( z ) ( H TWH ) 1 H TWHE ( x) E ( x)
：km维向量；H：kmxn维矩阵；V：km维向量
m >=n时，方程数目多余未知数的数目，可根据Z来估计X
若估计值 使J( )=L( )=(Z-H )T(Z-H ). 或Jw( )=L( )=(Z-H )TW(Z-H )极小.称之为最小二乘（加权最小二乘） 估计.Wkmxkm ：对称正定加权阵 因为J( )，Jw( )是标量函数，据确定性求极小值的问题可采用使 J( )/JW( )的 梯度等于0的方法求XLs(Z)或XLsw(Z).
方法： 被估量X:n维向量，进行k次线性观测（最小二乘估计一定是线性估计） Zi=HiX+Ui （i=1，2，· · · ，k） Zi：m维观测向量；Hi：mxn测矩阵； Ui：均值为零的m维观测误差向量
Z=HX+V
z1 h1 v1 z 2 h 2 v 2 Z , H , V ... ... ... zk hk vk
3.记忆长度L L>(na+nb)
5.4 最小二乘问题的解
Z (k ) hT (k ) n(k ); Z (k ), h(k )是可观测数据，：待估计参数 则J ( ) (k )[ Z (k ) hT (k ) ]
k 1 L 2
n(k ) : 加权因子；k, 使 (k)>0
n(k)=N(z-1)V(k) V(k)白噪音;N(z-1)噪音模型 最小二乘模型 A(z-1)Z(k)=B(z-1)U(k)+V(k) 增广最小二乘模型 A(z-1)Z(k)=B(z-1)U(k)+D(z-1)V(k) 广义最小二乘模型 A(z-1)Z(k)=B(z-1)U(k)+V(k)/C(Z-1)