第四章线性系统参数估计的最小二乘法

M y(n + N −1)
L L
− y(2)
M − y(N)
u(n + 2)
M u(n + N)
L L
u(2)
⎥ ⎥
M⎥ u(N )⎥⎦
（4.17）
这样我们就可以用前面介绍的最小二乘法求得估计量 Θˆ = ( X T X )−1 X TY
例 4.2
已知一个二阶系统的传递函数为
H
(
z)
=
1
+
b0 + b1z −1 a1z −1 + a2
测得铜导线在温度Ti (o C) 时的电阻 Ri (Ω ) 如表 6-1，求电阻 R 与温度 T 的近似函数关系。
i
1
2
3
4
5
6
7
Ti (o C) Ri (Ω )
19.1 76.30
25.0 77.80
30.1 79.25
36.0 80.80
40.0 82.35
45.1 83.90
50.0 85.10
3) m>n
如果无任何测量误差和噪声，也应有唯一解。但它们是不可避免的，这样
就可能造成无解的情况。
例: 对于系统 y = θ1x1 +θ2 x2 ，采样得 ⎪⎨⎧43＝＝θθ11＋＋2θθ22 ⎪⎩7＝3θ1＋θ 2
若有测量噪声或误差，则无解。
任取其中 2 个方程都可解得θ1＝2； θ 2＝1
⎧
} ⎪
x1
Yˆ
xm
这个几何解释说明，输出向量 Y 可以分解成属于估计空间的估计向量Yˆ 和垂直于估计空间的
输出残差向量ε 。
最小二乘估计的解的形式为
θˆ = ( X T X )−1 X T Y
(4.9)
很显然，只有正则方程的逆存在才能有解。而正则方程的逆存在（或者说最小二乘估计的解 存在）的充分必要条件为：过程的输入信号必须是 2n阶持续激励信号。这个条件又被称为开环 可辩识条件。它意味着辩识所用的输入信号不能任意选择，否则就可能造成系统不可辩识。通 常所用的信号有
⎪⎪ ⎨ ⎪
y(2) = θ1x1(2) +θ 2 x2 (2) +L+θ n xn (2) M
⎪⎩ y(m) = θ1x1(m) +θ 2 x2 (m) +L+θ n xn (m)
写成矩阵形式，为
Y=XΘ
其中
⎡ y(1) ⎤
Y
=
⎢ ⎢
M
⎥ ⎥
⎢⎣ y(m)⎥⎦ m×1
⎡ x1 (1) L
X
=
⎢ ⎢
高斯使用的最小二乘法的方法发表于 1809 年他的著作《天体运动论》中，而法国科学家勒 让德于 1806 年独立发现“最小二乘法”，但因不为时人所知而默默无闻。勒让德曾与高斯为谁 最早创立最小二乘法原理发生争执。
1829 年，高斯提供了最小二乘法的优化效果强于其他方法的证明，因此被称为高斯-马尔可 夫定理。此后 LS 法成了处理观测所得实验数据的有力工具。现在成为辨识的主要算法。
使用(1，1.8)，(2，2.2)两个点得到的方
1.5 1 1.5 2 2.5 3 3.5 4 4.5 5 5.5 6
程为 y=1.4 + 0.4x；使用(1，1.8)，(6，3.3)两个点得到的方程为 y=1.5 + 0.3x，而使用（3,3）和（6,3.3）
两个点得到的方程是 y=2.7+0.1x。
（1） 随机序列（如白噪声）； （2） 伪随机序列（如 M 序列）； （3） 离散序列（对含有 n 种其频率不是倍频关系的正弦信号的组合信号进行采样所得到
的离散序列）；
4.3 最小二乘在线性系统参数估计中的应用 （差分方程辩识）
4.3.1 线性系统模型的参数估计
在连续系统中，系统的动态特性可用微分方程来描述，在离散系统中，系统的动态特性则用 差分方程来描述。
(4.14) (4.15)
这时被辩识参数 ΘT = [a1,L, an ,b0 ,b1,L, bn ] 。当对输入输出观测了 N+n 次后，就可建立起有 N
个方程的方程组（N > 2n），即
Y = XΘ + ε
(4.16)
⎡ y(n + 1) ⎤
Y
=
⎢ ⎢ ⎢
y(n + M
2)
⎥ ⎥ ⎥
；
⎢ ⎣
y(n
解: 画出散点图，可见测得的数据接近一条直线，故取 n=1，拟合函数为
于是可列出方程组
R = a0 + a1T
⎧ R(1) = a0 + a1T (1)
⎪⎪R(2) ⎨ ⎪
=
a0ቤተ መጻሕፍቲ ባይዱM
+
a1T
(2)
⎪⎩R(7) = a0 + a1T (7)
写成最小二乘标准格式为 Y = Xθ + ε ，其中
Y = R = [76.30 77.80 79.25 80.80 82.35 83.90 85.10]T
对于 n 阶系统，它的差分方程可写为
A(q −1 ) y(k ) = B(q −1 )u(k )
(4.10)
传递函数可表示为
H (q −1 )
=
y(k) u(k)
=
B(q −1 ) A(q −1 )
其中 A,B分别是引入向后移位算子q-1的多项式
(4.11)
A(q −1 ) = 1 + a1q −1 + L + an q −n
z
−2
，在其输入端加入 M 序列输入后
所得到的输出输入数据见下表，请利用这些数据辨识出系统的传递函数的系数。
k
1
2
3
4
5
6
7
8
9
10
输入 u
1
0
1
1
0
0
1
1
1
0
输出 y -0.45 -0.01
1.15
2.56
1.92
-0.30 -0.80 0.91 2.92 2.40
解： 已知系统阶数 n=2，有 4 个未知数。将式（4.4）展开 y(k) = −a1 y(k −1) − a2 y(k − 2) + b0u(k) + b1u(k −1) 根据要求，观测次数 N>2n+1，取 N 为 6，k=3
(4.12)
B(q −1 ) = b0 + b1q −1 + L + bn q −n 式(4.10)可写为
y(k) + a1 y(k −1) + L + an y(k − n) = b0u(k) + b1u(k − 1) + L + bnu(k − n)
-4-
对有测量误差的系统，则有
A(q −1) y(k ) = B(q −1)u(k ) + ε (k )
(4.1)
其中，θ=(θ1, θ2, …, θn)是一个参数集。在系统辨识中它们是未知的。我们希望通过不同时刻
对Y及X的观测值来估计出它们的数值。
例如，在研究两个变量（x，y）之间的
4
关系时，通常的做法是取一个变量作为自
变量，另一个作为因变量。改变自变量可
3.5
得到相应的因变量。将所得到的一系列数
据对描绘在直角坐标系中，得到一系列的
+
N
)⎥⎦
⎡ ε (n + 1) ⎤
ε
=
⎢ ⎢
ε
(n
+
2)
⎥ ⎥
；
⎢M⎥
⎢⎣ε (n + N )⎥⎦
⎡ X T (n + 1) ⎤ ⎡ − y(n)
L − y(1) u(n + 1) L u(1) ⎤
X
=
⎢ ⎢
X
T
(n
+
2)
⎥ ⎥
⎢ ⎢ ⎢⎣
X
T
M (n
+
N
⎥ ⎥ )⎥⎦
=
⎢ ⎢ ⎢ ⎢⎣−
− y(n + 1)
最小二乘辨识是一种一致的、无偏的、有效的方法
4.2 基本最小二乘方法
4.2.1 最小二乘曲线拟合
最小二乘技术提供给我们一个数学程序，通过它能获得一个在最小方差意义上与实验数据拟
合最好的模型。假定有一个变量Y，它与一个n维变量X=(x1,x2,…,xn)是线性关系，即
Y=θ1x1+θ2x2+…+θnxn
M
⎢⎣x1 (m) L
根据 m 相对 n 的大小不同，可能有三种情况：
1) m<n
无唯一解（多重解〕
2) m=n
唯一解
xn (1) ⎤
M
⎥ ⎥
xn (m)⎥⎦ m×n
⎡θ1 ⎤
Θ
=
⎢ ⎢
M
⎥ ⎥
⎢⎣θ n ⎥⎦ n×1
(4.2) (4.3)
参数估计值Θˆ = X −1Y ，只要矩阵 X 非奇异，可以解出精确解。如果没有测量误差，则应有Θˆ＝Θ 。
第四章 线性系统参数估计的最小二乘法
4.1 引言
最小二乘(Least Squares)法是用于参数估计的数学方法，它使数学模型在误差平方和最小的 意义上拟合实验数据。
1801 年，意大利天文学家朱赛普·皮亚齐发现了第一颗小行星谷神星。经过 40 天的跟踪观测 后，由于谷神星运行至太阳背后，使得皮亚齐失去了谷神星的位置。随后全世界的科学家利用 皮亚齐的观测数据开始寻找谷神星，但是根据大多数人计算的结果来寻找谷神星都没有结果。 时年 24 岁的高斯也计算了谷神星的轨道。奥地利天文学家海因里希·奥尔伯斯根据高斯计算出来 的轨道重新发现了谷神星。