第五章 最小二乘法辨识

0.1 1.5 0.01 0.69 0.01 0.99 0.01 0.49 0.02
0.5 1.48 0.04 0.67 0.08 0.96 0.06 0.48 0.07 1.0 1.47 0.06 0.66 0.06 0.95 0.12 0.46 0.14
5.0 1.48 0.07 0.74 0.08 0.98 0.61 0.41 0.61
1
PN
N
1
P 1 T N 1 N
0
❖ 所以 PN PN1
❖ 随着递推次数的增加，PN 越来越小，这会导致新采
样值对参数估计的修正不再起作用，即产生“数据 饱和”现象。
❖ 另外，由于递推在有穷字长的计算机上实现时，每 步都存在舍入误差。因此数据饱和后，由于这些原 因致使新的采样值不仅对参数估计不起改进作用， 反而可能使所计算的 PN 失去正定性，甚至失去对 称性，造成参数的估计值和真实参数之间的偏差越 来越大。
PN
PNN1
I
T N
1
PN
N
1
P 1 T N 1 N
❖
由于
T N
1
PN
N
1
为标量，则
PN 1
PN
PN
N
1
T N
1
PN
1
T N
1
PN
N
1
❖而
^ N 1
T N
1
N
1
y 1 T N 1 N 1
PN
1
T N
1
y
N
1
PN 1
T N
yN
N 1 y(N
1)
^
^
N
PN N 1 y(N
❖ 矩阵求逆引理：设A为 n n 矩阵，B和C为 n m 矩阵，
并且A， A和 BCT I CT都A是1B 非奇异矩阵，则有矩
阵恒等式
A BCT 1 A1 A1B(I CT A1B)1CT A1
❖
令
A
PN1
，B
N 1
，C
T N 1
，根据引理有
PN1
T N 1 N 1
1
N
)
1
T N
(
T N
N
)
1
T N
T
E
(
T N
N
)
1
T N
2 N
(
T N
N
) 1
2E
(
T N
N
) 1
❖ 证毕。
❖ 上式可写为
^
Var
2
N
E
1 N
(
T N
N
)
1
❖
当 N
时，上式为零，即
^
以概率1趋近
。
❖ 因此，当 (k)为不相关随机序列时，最小二乘估计具有无偏
性和一致性。如果系统的参数估计具有这种特性，就称系统 具有可辨识性。
T
1 T
N 1 N 1
N 1 N 1
❖ 其中：
N 1
N
T N
1
y N 1
yN y(N
1)
（10）
❖令
PN TNN 1
❖则
PN1
TN 1 N 1
1
T N
N
N 1 N 1
1
P 1
T 1
N
N 1 N 1
❖ 应用矩阵求逆引理，可得 PN1 和 PN 的递推关系式
❖ 从方程中可看到 b0 0 ，因此
[a1 a2 b1 b2 ]T
❖ 真实的 为
[1.5 0.7 1.0 0.5]T
❖ 取观测数据长度 N 100，当噪声均方差 取不同 值时，系统参数的最小二乘估计值如下表
表5.1 参数估值表
^
a1
^
^
^
a2
b1
b2
0.0 1.5 0.00 0.70 0.00 1.00 0.00 0.50 0.00
❖ 现举例说明最小二乘法的估计精度 ❖ 例5.1：设单输入－单输出系统的差分方程为
y(k) a1y(k 1) a2 y(k 2) b1u(k 1) b2u(k 2) (k)
❖ 设 u(k)是幅值为1的伪随机二位式序列，噪声 (k)是 一个方差 2可调的正态分布 N(0, 2 )随机序列。
1)
P T N N 1 N 1
N
1
T N
1
PN
N
1
^
P T N N 1 N 1
N
1
T N
1
PN
N
1
N 1 y(N
1)
❖ 由于上式中第二项为
PN N 1 y(N
1)
PN
N
1
1 1
T N T N
1 1
PN PN
N N
1 1
y(N
1)
PN
N
1
1
y(N
T N 1
1)
PN
N
1
PN N 1
❖ 假设 (k)不仅包含了x(k)的测量误差，而且还包含 u(k) 的测量误差和系统内部噪声。
❖ 假定 (k) 是不相关随机序列。
❖ 现分别测出 n N 个输出输入值 y(1), y(2), , y(n N) ，
u(1),u(2), ,u(n N)
❖设
a1
y
y(n
y(n
y(n
1)
2)
T N
1
PN
N
1
1
T N
1
PN
N
1
y(N
1)
❖ 把它代入原式，消去同类项，经整理得
^
N 1
^
N
PN N 1
1
T N
1
PN
N
1
y(
N
1)
^
T N
1
N
❖ 此式即为最小二乘的递推算式。
❖ 利用此式计算
^
N 1
，PN 1 时要已知
^
N
，PN（前次估计
值），
（历史数据）和新观测值
N
y(N 1)。
❖ 算法所需存贮空间分析：
b^
0
^ bn
❖
设 e(k)
表示 y(k)与
^
y(k
)
之差，即
^
^
e(k) a(z1)y(k) b(z1)u(k) k n 1, n 2, , n N
❖ 式中 ^
^
^
a(z 1) 1 a1 z 1 an z n
^
^^
^
b(z 1) b0 b1 z 1 bn z n
❖ 将 x(k) 代入差分方程中，有 y(k) a1 y(k 1) an y(k n) b0u(k) bnu(k n) （4）
n
n(k) ain(k i) i1
❖ 往往把 n(k)看作白噪声
❖设
n
(k) n(k) ain(k i)
i1
❖ 则式（4）可写成
y(k) a1 y(k 1) an y(k n) b0u(k) bnu(k n) (k)（5）
y
^
T
y
^
❖
为最小来确定估值
^
。
❖
求J对
^
的偏导数并令其等于0，可得
^
T 1 T y
❖ J为极小值的充分条件是
2J T 0 ^2
❖ 即矩阵 T 为正定矩阵。
❖ 这种辨识方法称为一次完成的最小二乘估计，用来 辨识的数据长度是 n N 。算法表明，全部 n N 组数 据是一次计算完毕的，这种方法常用于离线辨识。
^
是具有无
偏性的，即
E ^
LS
❖ 其中 表示参数的真实值
❖ 证明：令误差向量 [ (1), (2), , (N)]T ，由式（8） 可知
yN
❖ 将它代入（10）式得
^
T N
N
1
T N
❖ 对上式两边取数学期望，并应用 (k) 为独立，零均
值得统计特性，可得
E
^
E
E
T N
❖ 将 e(k) 称为残差。把 k n 1,n 2, ,n N 分别代入上 式可得残差 e(n 1),e(n 2), ,e(n N) 。设
e e(n 1) e(n 2) e(n N)T
❖ 则有
^
e y y y
❖ 最小二乘估计要求残差的平方和为最小，即按照目
标函数
J
eT e
0
N
0
1 ,
^
N0
PN
0
T N
0YN
0
❖
2）假定
^
0
0,
P0
c2I,
c
是充分大的常数，I
为 (2n 1)(2n 1)
单位矩阵,则经过若干次递推之后能得到较好的参数
估计。
3、最小二乘估计量的统计特性
❖ 1、无偏性
❖ 定理1：假设模型（5）式中的 (k)是均值为零的平
稳独立随机序列，则最小二乘估计量
❖ 优点：辨识精度高。
❖ 缺点：每取到一组新数据后，都需要重新解方程组， 每算一次都需要用全部数据，致使计算的存储量越 来越大，计算量也逐渐增加。
2、最小二乘递推算法
❖令
T k
y(k 1),
, y(k n), u(k), u(k
1),
,u(k n)
T a1, a2 , , an ,b0 ,b1,b2 , ,bn
服从正态分
❖ 4）有效性
❖ 定理4：假设 (k) 是均值为零，方差为 2I 的正态
白噪声，则最小二乘参数估计量
^
是有效估计
量，即参数估计误差的协方差达到Cramer-Rao不
等式的下界
E (^
^
)(
)T
2E
(
T N
N
) 1
M 1
❖ 其中M为Fisher信息矩阵。
4、适应算法
❖ 随着更多观测数据的处理，递推最小二乘法对线性 定常系统的参数估计并非越来越精确，有时会发现
第5章 最小二乘法辨识
❖ 把待辨识的系统看作“黑箱”，只考虑系统 的输入－输出特性，而不强调系统的内部机 理。
❖ 本章主要讨论单输入－单输出系统的差分方 程作为模型的系统辨识问题。
❖ 差分方程模型的辨识问题包括阶的确定和参 数估计2个方面。
❖ 本章讨论采用最小二乘法进行参数估计。
1、最小二乘法
❖ 设单输入－单输出线性定常系统的差分方程为
❖ 表示预报误差，这就表明，新的参数估计值
是 ^
N1
根据预报偏差来对原估计值
^
N
进行修正，修正的
幅度大小是按最小二乘准则来确定的。
❖
为了进行递推计算，需要给出 PN
和
^
N
的初值 P0
和
^
0
，有两种给出初值的方法。
❖ 1）设 N0 (N0 n) 为N的初始值，则根据公式可算出初
值
PN0
T N
❖ 算法中，^ N 为2n+1个存贮单元（ai ,bi ,i 1,2, , n）， 而 PN 是 (2n 1) (2n 1)维矩阵，显然，将 N 换成 PN 后，存贮量大为减少（因为n为模型的阶数，一般 远远小于N）
❖ 递推公式的直观意义：
^
^
❖
如果用
y(N
1)
T N
1
表示预报值，那么
^
y(N 1) y(N 1) e(N 1)
x(k) a1x(k 1) an x(k n) b0u(k) bnu(k n)
k 1, 2, 3,
（1）
❖ 式中：u(k) 为输入信号；x(k) 为理论上的输出值。
❖ x(k) 的观测值 y(k) 可表示为
y(k) x(k) n(k)
❖ 式中 n(k)为随机干扰，则：x(k) y(k) n(k)
由此得到的参数估计量与实际参数之间的误差越来
越大，即出现“数据饱和”现象。
❖
这是因为 P0
是正定的，而PN1
P 1
T
N
N 1 N 1
中 1
T
N 1 N 1
是递非推负最定 小的 二， 乘所 法以中公Pi式(i ，1,可2,得, N：) 都是正定的。根据
PN
PN1
PN N 1
1
T N
❖ 式（8）式一个含有 (2n 1) 个未知参数，由N个方程 组成方程组。
❖ 当 N 2n 1 ，方程数少于未知数数目，则方程组的 解是不定的。
❖ 当 N 2n 1，方程数正好与未知数相等，当噪声 0 时，就能准确的解出
1 y
❖ 如果噪声 0 ，则
1 y 1
❖ 从上式可以看出噪声 对参数估计有影响，
,
N)
an
,
b0
(n (n (n
1)
2)
N)
bn
y(n)
y(n 1)
y(n N 1)
y(1) u(n 1)
y(2) u(n 2)
y(N) u(n N)
u(1)
u(2)
u( N )
❖ 可得到
❖
y
（8）
❖ 式中： y 为N维输出向量； 为N维噪声向量； 为 (2n 1) 维参数向量； 为 N (2n 1) 测量矩阵。
N
12TT
T N
y(1)
yN
y(2)
Y (n)
❖ 则有
y(k
)
T k
e(k)
❖ 考虑目标函数
J ( )
1 N
N k 1
y(k
)
T k
2
1 N
N
e2 (k)
k 1
❖ 极小化，可求得
^
N
T N
N
1 T N
yN
❖ 当新数据 y(N 1) 取得时，有
y ^ N 1
❖ 为了克服数据饱和现象，可以用降低旧数据影响的 办法来修正算法。而对于时变系统，估计k时刻的 参数最好用k时刻附近的数据估计较准确。否则新 数据所带来的信息将被就数据所淹没。
❖ 几种算法：渐消记忆法，限定记忆法与振荡记忆法
N
1
T N
E E
T N
N
1
T N
E
证毕。
❖ 2、误差协方差
❖ 定理2：如果 (k) 是均值为零，方差为 2I 的白噪
声序列，则最小二乘估计误差
^
的协方差矩阵
是
E
(^
^
)(
)T
2E
(
T N
N
) 1
❖ 证明：定义误差向量的协方差矩阵是
E
(^
^
)(
)T
E
(
T N
为了尽量减少噪声 对 估值 的影响，应
取
N (2n 1)
❖ 此时，要采用数理统计的方法求 的值，以 减少噪声对 估计值的影响。
最小二乘估计算法
❖
设
^
表示
的最优估值，y^
表示 y
的最优估值，则
有
^
^
y
❖ 式中
^
y(n
1)
^
y
^ y(n
2)
ห้องสมุดไป่ตู้
,
^
y(n
N
)
a^ 1
^
a^
n
参数真值
-1.5
0.70
1.00
0.50
^
计算结果表明，当不存在噪声时，可以获得精确的估值 。估
值
^
的均方差随着噪声均方差
的增大而增大。
❖ 3）渐进正态性
❖ 定理3：假设 (k) 是均值为零，方差为 2I 的正态
白噪声，则最小二乘参数估计值
布，即 ^ ~ N , 2 E (T )1
^