自适应第四章离散时间系统模型及其参数估计

问题：根据x1 , x2 ,, xn和y的观测值确定1 ,2 ,,n。
回归方程：
xn

y
y(1) 1 x1 (1) 2 x2 (1) n xn (1) y(2) 1 x1 (2) 2 x2 (2) n xn (2)
y(m) 1 x1 (m) 2 x2 (m) n xn (m)
m
ˆ lim
模型方程：Y X
其中： 为由模型误差和量测噪声所引起的残差，平稳随机序列。
已知： (1) E[ ] 0
(2) 与X 、Y 不相关，即E[ X ] E[ ]E[ X ]
(3) i为同分布、零均值，独立随机变量，其方差为 2(常数) 即E[ T ] 2 I
P(m 1) P(m) K (m 1) X T (m 1) P(m)
注意：(1) [1 X T (m 1) P(m) X (m 1)]1 是一个标量
e( k )
数学模型：
C1 ( q 1 ) A2 ( q 1 ) q m B1 ( q 1 ) A1 ( q 1 )
B1 (q 1 ) C1 (q 1 ) y (k ) u ( k m) e( k ) 1 1 A1 (q ) A2 (q )
y (k )
x(k )
u (k )
1
1
P (m 1) P ( m) X (m 1) X ( m 1)
1 T
1
由矩阵求逆定理，得：
P(m 1) P(m) P(m) X (m 1)[1 X T (m 1) P(m) X (m 1)]1 X T (m 1) P(m)(1)
A1 (q 1 ) y (k ) B1 (q 1 )u (k m)
q m B1 (q 1 ) B (q ) u (k ) x(k ) 加扰动后： y (k ) 1 1 u (k m) x(k ) 1 A1 (q ) A1 (q )
1
谱分解定理：给定平稳随机过程x (k )的谱密度 ( )，则存在一个渐近稳定 C1 ( q 1 ) 的线性系统H ( z ) ，当输入为白噪声e( k )时，系统的输出便是谱 1 A2 (q ) 密度为 ( )的平稳过程x( k )。
A(q 1 ) 1 a1q 1 an q n C (q 1 ) 1 c1q 1 cn q n
B (q 1 ) b0 b1q 1 bn q n
b0 0
A(q 1 )、B(q 1 )、C (q 1 )的特征：
令：K (m 1) P(m) X (m 1)[1 X T (m 1) P(m) X (m 1)]1
ˆ ˆ ˆ (m 1) ( m) K (m 1)[ y(m 1) X T (m 1) (m)] （递推公式）
意义：新估计值＝原估计值＋修正值
令权阵为 （正定对称阵） J T (Y X )T (Y X ) 最小。
J 0
ˆ
ˆ ( X T X )1 X T Y (加权最小二乘估计公式)
ˆ 当 I时， ˆ（等量加权）
二、统计特性
参数估计指标： 1、无偏性
x1 (1) x (2) 1 X m1 x1 ( m) x1 ( m 1) xn (1) x2 (2) xn (2) x2 ( m) xn ( m) x2 ( m 1) xn ( m 1) x 2 (1)
(1) A(q 1 )和C (q 1 )：首1多项式（最高次项系数为1） (2) C (q 1 )：hurwitz(稳定)多项式，即C (q 1 )的零点为稳定零点。
4.2 参数估计的最小二乘算法
一、基本关系式
x1 x2
参数 i (i 1, 2, , n)
假定：y 1 x1 2 x2 n xn
E[( X T X )-1 X T ]E[ ]
ˆ 是的无偏估计。
2、一致性
ˆ lim 可证明：m 时， ，即 m ˆ
∴一致估计
三、递推最小二乘估计（在线估计） 当新的观测数据源源不断而来时，希望利用新观测值 不断改进参数估计－递推求解。
（新估计值＝原估计值＋修正值）
1 有解情况：① m=n，唯一解。 X Y
② m>n,用残差平方和最小来确定θ
定义残差(误差向量)ε ： Y X
m i 1
其中 1 2 m
T
ˆ 要求：求的估计值，使性能指标J i2 T 最小。
J (Y X )T (Y X ) Y Y T X T Y Y T X T X T X
ˆ (m 1) P(m 1)[ X mT Ym X (m 1) y(m 1)](2) ˆ (m) P(m) X mT Ym (3)
(1)式代入(2)式，且有(3)式，推得：
ˆ ˆ ˆ (m 1) ( m) P(m) X (m 1)[1 X T (m 1) P(m) X (m 1)]1[ y(m 1) X T (m 1) (m)]
A(q 1 ) y(k ) B(q 1 )u (k m) C (q 1 )e(k ) （规范化模型 CARMA）
其中：A(q 1 ) 1 a1q 1 an q n C (q 1 ) 1 c1q 1 cn q n
B (q 1 ) b0 b1q 1 bn q n b0 0
P(m+1)=(X
T m
T m 1
X X m X (m 1) X (m 1)
T
T X m X m1 )
1
1
P ( m) X (m 1) X (m 1)
1 T
X X ( m 1) T m X ( m 1)
ˆ E[ ]
参数估计值的数学期望等于参数的真值，则称 ˆ 是未知 参数的无偏估计 2、有效性（最小方差估计）
2 ˆ ˆ ˆ ˆ 设 和 都为的无偏估计，若 2 < ˆ，则称 比 更有效。 ˆ

3、一致性（一致估计）
ˆ 随着观测次数m的增加， 依概率收敛于，则称ˆ为的一致估计。
Xm T X (m 1)
加入新数据后：
ˆ (m 1) ( X
T m 1
X m1 ) X
1
T m 1 m 1
Y
(X
T m 1
X m 1 ) X
1
T m
Ym X (m 1) y m 1
ˆ (m 1) ( X m1T X m1 )1[ X mT Ym X (m 1) ym1 ]
第四章 离散时间系统模型及其参数估计
4.1 被控对象的离散时间模型 被控对象结构： x(k)干扰(平稳随机过程)
＋
＋
u(k)输入
被控对象
y(k)输出
被控对象的线性差分方程（离散化后）：
y (k ) a1 y (k 1) an y (k n) b0u (k m) b1u (k m 1) bnu (k m n)
ˆ ˆ m 1 m 修正量
其中：修正量只与第m+1次观测值有关，与前m次观测值无关。 向量方程：Y=Xθ (m个方程)
ˆ m ( X mT X m )1 X mT Ym
Ym X m
其中：X m为m次观测值组成的矩阵，m n阶
第m+1次观测的新数据，得：
y(m 1) 1 x1 (m 1) 2 x2 ( m 1) n xn ( m 1)
矩阵求逆定理： 设A、C和A+BCD皆为非奇异方阵，则有
( A BCD)1 A1 A1B(C 1 DA1B)1 DA1
1 1 1 1 1 1 若C＝1，则 ( A BD) A A B(1 DA B) DA T 定义：P(m)=(X m X m )1
图 被控对象的控制和扰动模型
同乘A1 (q 1 )、A2 (q 1 )：
A1 (q 1 ) A2 (q 1 ) y (k ) A2 (q 1 ) B1 (q 1 )u (k m) A1 (q 1 )C1 (q 1 )e(k )
令：A(q 1 ) A1 (q 1 ) A2 (q 1 ), B (q 1 ) A2 (q 1 ) B1 (q 1 ), C (q 1 ) A1 (q 1 )C1 (q 1 )
T T
J
ˆ
0 ( X ) XT
依据向量求导法则，可推得
( T X ) X
ˆ ( X T X )1 X T Y (最小二乘估计公式)
推广：对 i 作不等量加权； 作用：强化当前观测数据对参数估计的作用，削弱先前观 测数据的影响。问题：当前数据权重大还是先前数据权重大？
令：X T (m 1) [ x1 (m 1) x2 (m 1) xn (m 1)] (1 n行向量)
y(m 1) X T (m 1)
Y m+1个方程组组成的向量方程： m1 X m1
y (1) y (2) Ym 其中：Ym 1 y (m 1) y ( m) y (m 1)
(i为回归系数)
y (1) x1 (1) x 2 (1) xn (1) 1 y (2) x (2) x (2) x (2) 2 n 2 X 1 Ym1 m n n1 y (m) x1 (m) x2 (m) xn (m) n
其中：m为控制对输出的传输延时
引入时间平移算子q 1 ,即y(k 1) q 1 y(k ), y(k 2) q 2 y(k )
则：y (k ) a1q 1 y (k ) anq n y (k ) b0u (k m) b1q 1u (k m) bnq nu (k m) y (k )(1 a1q 1 anq n ) u (k m)(b0 b1q 1 bnq n ) 令：A1 (q 1 ) 1 a1q 1 anq n B1 (q 1 ) b0 b1q 1 bnq n
最小二乘估计的统计特性： 1、无偏性
T -1 T ˆ ( X T X )-1 X T Y ( X T X )-1 X T ( X ) ( X X ) X
ˆ E[ ] E[ ( X T X )-1 X T ] E[ ] E[( X T X )-1 X T ]