第五章 最小二乘法辨识2
各类最小二乘算法
β N −1 H* = N 0
β N −2
β 2( N −1) WN = 0
β 2( N −2)
0 ⋱ 1
三、递推算法 ∵
k θ(k ) = ∑ β i =1
∧
2(k −i) h (i )h T (i )
2随着采样次数的增多数据量不断增加ls估计有可能出现所谓的数据饱和现象导致递推算法不能接近参数真二关于数据饱和现象的分析所谓数据饱和现象就是随着时间的推移采集到的数据越来越多新数据所提供的信息被淹没在老数据的海洋之中
Ⅴ 各种最小二乘类参数辨识算法 §1 概 述
最小二乘类参数辨识算法（一次完成算法、递推算法） 最小二乘类参数辨识算法 （一次完成算法 、 递推算法 ） 是一种 最基本和常用的参数估计方法。但研究和应用表明， 最基本和常用的参数估计方法。 但研究和应用表明， 这一算 法仍存在明显的不足。 法仍存在明显的不足。 一、LS 算法的主要不足之处 1、当模型噪声为有色噪声时，LS 估计不再是无偏估计、一致 、当模型噪声为有色噪声时， 估计不再是无偏估计、 估计。 估计。 2、随着采样次数的增多，数据量不断增加，LS估计有可能出 、随着采样次数的增多，数据量不断增加， 估计有可能出 现所谓的“数据饱和”现象， 现所谓的“数据饱和”现象，导致递推算法不能接近参数真 值。
于是有： 于是有：
α P ( k ) P − 1 ( k − 1) = I − P ( k ) h ( k ) h T ( k )
则：
ˆ θ ( k ) = P ( k ) H * T Z * = P ( k ) α H * −1T Z * −1 + h ( k ) z ( k ) k k k k
第五章 最小二乘法辨识
服从正态分
❖ 4）有效性
❖ 定理4：假设 (k) 是均值为零，方差为 2I 的正态
白噪声，则最小二乘参数估计量
^
是有效估计
量，即参数估计误差的协方差达到Cramer-Rao不
等式的下界
E (^
^
)(
)T
2E
(
T N
N
) 1
M 1
❖ 其中M为Fisher信息矩阵。
4、适应算法
❖ 随着更多观测数据的处理，递推最小二乘法对线性 定常系统的参数估计并非越来越精确，有时会发现
❖ 现举例说明最小二乘法的估计精度 ❖ 例5.1：设单输入－单输出系统的差分方程为
y(k) a1y(k 1) a2 y(k 2) b1u(k 1) b2u(k 2) (k)
❖ 设 u(k)是幅值为1的伪随机二位式序列，噪声 (k)是 一个方差 2可调的正态分布 N(0, 2 )随机序列。
❖ 为了克服数据饱和现象，可以用降低旧数据影响的 办法来修正算法。而对于时变系统，估计k时刻的 参数最好用k时刻附近的数据估计较准确。否则新 数据所带来的信息将被就数据所淹没。
❖ 几种算法：渐消记忆法，限定记忆法与振荡记忆法
❖ 矩阵求逆引理：设A为 n n 矩阵，B和C为 n m 矩阵，
并且A， A和 BCT I CT都A是1B 非奇异矩阵，则有矩
阵恒等式
A BCT 1 A1 A1B(I CT A1B)1CT A1
❖
令
A
PN1
，B
N 1
，C
T N 1
，根据引理有
PN1
T N 1 N 1
1
❖ 算法中，^ N 为2n+1个存贮单元（ai ,bi ,i 1,2, , n）， 而 PN 是 (2n 1) (2n 1)维矩阵，显然，将 N 换成 PN 后，存贮量大为减少（因为n为模型的阶数，一般 远远小于N）
矩阵论-第五章-广义逆及最小二乘
第五章 广义逆及最小二乘解在应用上见得最频繁的、大约莫过于线性方程组了。
作一番调查或整理一批实验数据，常常归结为一个线性方程组：Ax b =然而是否是相容方程呢？倘若不是，又如何处理呢？最小二乘解是常见的一种处理方法。
其实它不过是最小二乘法的代数形式而已。
广义逆从1935年Moore 提出以后，未得响应。
据说： (S.L.Campbell ＆ C.D.Meyer.Jr Generalized Inverses of Linear Transformations 1979 P9)原因之一，可能是他给出的定义，有点晦涩。
其后，1955年Penrose 给出了现在大都采用的定义以后，对广义逆的研究起了影响，三十年来，广义逆无论在理论还是应用上都有了巨大发展，一直成为了线性代数中不可缺少的内容之一。
为了讨论的顺利进行，我们在第一节中先给出点准备，作出矩阵的奇值分解。
§5.1 矩阵的酉交分解、满秩分解和奇值分解在线行空间中，知道一个线性变换在不同基偶下的矩阵表示是相抵的或等价的。
用矩阵的语言来说，就是：若 ,m n A B C ×∈，倘有非异矩阵()P m n ×，()Q n n ×存在，使B PAQ =则称A 与B 相抵的或等价的。
利用初等变换容易证明m n A C ×∈，秩为r ，则必有P ，Q ，使000r m nI PAQ C ×⎛⎞=∈⎜⎟⎝⎠(5.1-1) 其中r I 是r 阶单位阵。
在酉空间中，上面的说法，当然也成立，如果加上P ，Q 是酉交阵的要求，情形又如何呢？下面就来讨论这个问题。
定理 5.1.1 (酉交分解) m n A C ×∈，且秩为r ，则(),(),,H H m n U m n V n n U U I V V I ∃××==，使00r HU AV Δ⎛⎞=×⎜⎟⎝⎠(m n) (5.1-2) 其中r Δ为r 阶非异下三角阵。
最小二乘法原理
最小二乘法最小二乘法是一种在误差估计、不确定度、系统辨识及预测、预报等数据处理诸多学科领域得到广泛应用的数学工具。
最小二乘法还可用于曲线拟合，其他一些优化问题也可通过最小化能量或最大化熵用最小二乘法来表达。
最小二乘法公式：设拟合直线的公式为,其中：拟合直线的斜率为：；计算出斜率后，根据和已经确定的斜率k，利用待定系数法求出截距b。
在我们研究两个变量(x, y)之间的相互关系时，通常可以得到一系列成对的数据(x1, y1),(x2, y2).. (xm , ym)；将这些数据描绘在x -y 直角坐标系中(如图1), 若发现这些点在一条直线附近，可以令这条直线方程如(式1-1)。
Y计= a0 + a1 X (式1-1)其中：a0、a1 是任意实数为建立这直线方程就要确定a0和a1，应用《最小二乘法原理》，将实测值Yi与利用(式1-1)计算值(Y计=a0+a1X)的离差(Yi-Y计)的平方和〔∑(Yi - Y计)²〕最小为“优化判据”。
令: φ= ∑(Yi - Y计)² (式1-2)把(式1-1)代入(式1-2)中得:φ= ∑(Yi - a0 - a1 Xi)2 (式1-3)当∑(Yi-Y计)²最小时，可用函数φ对a0、a1求偏导数，令这两个偏导数等于零。
(式1-4)(式1-5)亦即m a0 + (∑Xi ) a1 = ∑Yi (式1-6)(∑Xi ) a0 + (∑Xi2 ) a1 = ∑(Xi, Yi) (式1-7)得到的两个关于a0、a1为未知数的两个方程组，解这两个方程组得出：a0 = (∑Yi) / m - a1(∑Xi) / m (式1-8)a1 = [∑Xi Yi - (∑Xi ∑Yi)/ m] / [∑Xi2 - (∑Xi)2 / m)] (式1-9) 这时把a0、a1代入(式1-1)中, 此时的(式1-1)就是我们回归的元线性方程即：数学模型。
第五章 线性参数最小二乘法处理(1)
光电效应
1 E = hν = m υ0 2 + A 2
1 eU 0 = m υ0 2 2
h A U0 = ν e e
2
光电效应
频率νi(×1014Hz) 8.214 7.408 6.879 5.490 5.196 截止电压U0i(V) 1.790 1.436 1.242 0.688 0.560
3
光电效应
SLOPE函数
频率ν i(Hz) 8.214E+14 7.408E+14 6.879E+14 5.490E+14 5.196E+14 截止电压U0i(V) 1.790E+00 1.436E+00 1.242E+00 6.880E-01 5.600E-01
4.02964E-15
2.000E+00 1.800E+00 1.600E+00
1
i 2
e
i 2 ( 2 i 2 )
di
( i 1, 2,
, n)
由概率论可知，各测量数据同时出现在相应区域的概率
为ቤተ መጻሕፍቲ ባይዱ
P Pi
i 1
n
1
1 2 n
2
e n
i 1
n
i 2 (2 i 2 )
d 1d 2
d n
12
第一节 最小二乘原理
1.400E+00
y = 4E-15x - 1.5314
1.200E+00 1.000E+00 8.000E-01 6.000E-01
4.000E-01
2.000E-01 0.000E+00 0.000E+00 5.000E+14 1.000E+15
系统辨识最小二乘法大作业 (2)
系统辨识大作业最小二乘法及其相关估值方法应用学院：自动化学院学号：姓名：日期：基于最小二乘法的多种系统辨识方法研究一、实验原理1.最小二乘法在系统辨识中用得最广泛的估计方法是最小二乘法(LS)。
设单输入-单输出线性定长系统的差分方程为(5.1.1)式中:为随机干扰；为理论上的输出值。
只有通过观测才能得到，在观测过程中往往附加有随机干扰。
的观测值可表示为(5.1.2)式中:为随机干扰。
由式(5.1.2)得(5.1.3)将式(5.1.3)带入式(5.1.1)得(5.1.4)我们可能不知道的统计特性，在这种情况下，往往把看做均值为0的白噪声。
设(5.1.5)则式(5.1.4)可写成(5.1.6)在观测时也有测量误差，系统内部也可能有噪声，应当考虑它们的影响。
因此假定不仅包含了的测量误差，而且包含了的测量误差和系统内部噪声。
假定是不相关随机序列(实际上是相关随机序列)。
现分别测出个随机输入值，则可写成个方程，即上述个方程可写成向量-矩阵形式(5.1.7) 设则式(5.1.7)可写为(5.1.8)式中：为维输出向量；为维噪声向量；为维参数向量；为测量矩阵。
因此式(5.1.8)是一个含有个未知参数，由个方程组成的联立方程组。
如果，方程数少于未知数数目，则方程组的解是不定的，不能唯一地确定参数向量。
如果，方程组正好与未知数数目相等，当噪声时，就能准确地解出(5.1.9)如果噪声，则(5.1.10)从上式可以看出噪声对参数估计是有影响的，为了尽量较小噪声对估值的影响。
在给定输出向量和测量矩阵的条件下求系统参数的估值，这就是系统辨识问题。
可用最小二乘法来求的估值，以下讨论最小二乘法估计。
2.最小二乘法估计算法设表示的最优估值，表示的最优估值，则有(5.1.11)写出式(5.1.11)的某一行，则有(5.1.12) 设表示与之差，即-(5.1.13)式中成为残差。
把分别代入式(5.1.13)可得残差。
设则有(5.1.14) 最小二乘估计要求残差的平方和为最小，即按照指数函数(5.1.15) 为最小来确定估值。
锂离子电池等效电路参数辨识最小二乘法
锂离子电池等效电路参数辨识最小二乘法全文共四篇示例，供读者参考第一篇示例：锂离子电池是现代电子设备中常用的电池类型之一，其能量密度高、重量轻、使用寿命长等优点使其得到广泛应用。
在电子设备设计和性能优化过程中，我们常常需要对锂离子电池的等效电路参数进行辨识。
等效电路参数是描述锂离子电池内部特性的重要参数，包括电阻、电容、电压源等。
辨识锂离子电池的等效电路参数可以帮助我们更准确地模拟锂电池在不同电荷和放电状态下的特性，从而优化电子设备设计，提高性能和效率。
最小二乘法是一种常用的参数辨识方法，可以通过拟合实测数据来估计锂离子电池的等效电路参数。
最小二乘法是一种通过最小化观测值与模型预测值之间的误差平方和来确定参数估计值的方法。
在锂离子电池的等效电路参数辨识中，我们可以将实测数据与模型之间的误差定义为残差，然后通过最小化残差的平方和来求解最优参数估计值。
锂离子电池的等效电路模型一般包括电阻、电容和电压源三个主要参数。
电阻代表电池内部电阻，影响电流的流动；电容代表电池内的电荷存储能力，影响电压的变化；电压源代表电池的电动势，影响电池的输出电压。
通过最小二乘法，我们可以估计出这三个参数的最优值，实现对锂离子电池等效电路的准确描述。
第二篇示例：锂离子电池是当今最为普遍应用于电动汽车、手机、笔记本电脑等设备中的一种电池类型。
为了更好地管理和控制锂离子电池的性能，我们需要了解其等效电路参数。
而通过最小二乘法来辨识锂离子电池的等效电路参数就是一种常用的方法。
一、锂离子电池的等效电路模型锂离子电池的等效电路模型通常包括电池的内阻、电池的电压和电池的容量。
一般来说，我们可以将锂离子电池抽象成一个电压源和一个内阻的串联电路。
其等效电路模型如下图所示：\[V(t) = E(t) - R_i I(t) - R_v \frac{\partial Q(t)}{\partial t}\]\(V(t)\)是电池的电压，\(E(t)\)是电池的开路电压，\(R_i\)是电池的内阻，\(R_v\)是电池的电压响应，\(Q(t)\)是电池的电量，\(I(t)\)是电池的电流。
最小二乘参数辨识方法
《系统辨识基础》第17讲要点第5章 最小二乘参数辨识方法5.9 最小二乘递推算法的逆问题辨识是在状态可测的情况下讨论模型的参数估计问题，滤波是在模型参数已知的情况下讨论状态估计问题，两者互为逆问题。
5.10 最小二乘递推算法的几种变形最小二乘递推算法有多种不同的变形，常用的有七种情况：① 基于数据所含的信息内容不同，对数据进行有选择性的加权； ② 在认为新近的数据更有价值的假设下，逐步丢弃过去的数据； ③ 只用有限长度的数据；④ 加权方式既考虑平均特性又考虑跟综能力； ⑤ 在不同的时刻，重调协方差阵P (k )； ⑥ 设法防止协方差阵P (k )趋于零； 5.10.1 选择性加权最小二乘法 把加权最小二乘递推算法改写成[]⎪⎪⎩⎪⎪⎨⎧--=+--=--+-=-)1()]()([)(1)()1()()()()1()()()]1(ˆ)()()[()1(ˆ)(ˆ1k k k k k k k k k k k k k k k z k k k P h K P h P h h P K h K τττθθθI ΛΛ算法中引进加权因子，其目的是便于考虑观测数据的可信度．选择不同的加权方式对算法的性质会有影响，下面是几种特殊的选择：① 一种有趣的情况是Λ()k 取得很大，在极限情况下，算法就退化成正交投影算法。
也就是说，当选择⎩⎨⎧=-≠-∞=0)()1()(,00)()1()(,)(k k k k k k k h P h h P h ττΛ 构成了正交投影算法⎪⎪⎩⎪⎪⎨⎧--=--=--+-=)1()]()([)()()1()()()1()()]1(ˆ)()()[()1(ˆ)(ˆk k k k k k k k k k k k k z k k k P h K P h P h h P K h K τττθθθI 算法初始值取P ()0=I 及 ()θε0=(任定值)，且当0)()1()(=-k k k h P h τ时，令K ()k =0。
递推最小二乘法
2
1
Φ
T N
ΦN
1
1 1 1 T T T T N 1 1 N 1 2 Φ N Φ N N 1 N 1 2 Φ N Φ N 1
Φ ΦN 2
T N
Φ Φ N N 1 2
T N 1 2
最小二乘估计法的缺陷
系统 B(z-1)/A(z-1)
+
x(k ) a1 x(k 1) b0 u (k )
an x(k n)
bn u (k n), k 1, 2,3
y(k ) x(k ) (k )
y (k ) a1 y (k 1) b0 u (k )
YN YN 1 y ( n N 1)
10
YN YN 1 y ( n N 1)
此时，由n+N+1个观测数据获得 的最小二乘估计为
1 T N 1 (T ) N 1YN 1 N 1 N 1
N T N 1
1
T T N 1 Φ N Φ N
1 T ) NYN ，则上式变为 又因为 N (T N N
N 1 N Φ Φ N N 1
T N 1 2
Φ
T N
Φ N N 1
1 2 T N 1
T N 1 1
T 1 T
J为极小值的充分条件是
2 J T 2 0 2
4
即矩阵 T 为正定矩阵。
递推最小二乘 参数辨识算法 u(k) y(k)
动态系统模型
系统辨识各类最小二乘法汇总
yk(k)=1.5*yk(k-1)-0.7*yk(k-2)+uk(k-1)+0.5*uk(k-2)+y1(k); end figure(3); plot(yk); title('对应输出曲线');
theta=[0;0;0;0]; p=10^6*eye(4);
9
for t=3:N h=([-yk(t-1);-yk(t-2);uk(t-1);uk(t-2)]); x=1+h'*p*h; p=(p-p*h*1/x*h'*p); theta=theta+p*h*(yk(t)-h'*theta);
12
p=(p-p*h*1/x*h'*p); theta=theta+p*h*(yk(t)-h'*theta);
a1t(t)=theta(1); a2t(t)=theta(2); b1t(t)=theta(3); b2t(t)=theta(4); d1t(t)=theta(5); d2t(t)=theta(6);
end 5、RGLS 试验程序（部分） for t=3:N
he=([-e(t-1);-e(t-2)]); xe=1+he'*pe*he; pe=(pe-pe*he*1/xe*he'*pe); thete=thete+pe*he*(e(t)-he'*thete);
c1t(t)=thete(1); c2t(t)=thete(2);
7
RELS： 当噪声模型： e k = D Z −1 ∗ v k ( v(k) 为白噪声 )时，我们采用增广最 小二乘方法。能辨识出参数（包括噪声参数）的无偏估计。 RGLS： 当噪声模型： e k =
(完整版)5线性参数的最小二乘法处理(精)
一、等精度测量线性参数的LSM处理的正规方 程。
❖ 线性参数的误差方程式为：
l1 a11x1 a12 x2 ... a1t xt v1
l2 a21x1 a22 x2 ... a2t xt v2
……
ln an1x1 an2 x2 ... ant xt vn
v2
第三节 精度估计
❖ 一、测量数据的精度估计
❖ （一）等精度测量数据的精度估计
❖ 对包含t个未知数的线性参数方程，进行n次独立的 等精度测量。
❖ 可以证明
❖
[V V ] ~ 2 n t
2
E[V V
2
]
n
t
❖取
s 2 v v
nt
s
v
2 i
nt
❖ V1=3-(1.28×1+0.418×2)=0.884 ❖ V2=5-(1.28×1+0.418×10)=-0.46 ❖ V3=8-(1.28×1+0.418×20)=-1.64 ❖ V4=15-(1.28×1+0.418×30)=1.18 ❖ V5=18-(1.28×1+0.418×40)=0
L
8
15
18
AT A 1052 3100024 AT L 134698
( AT
A)1
1 4616
3004 102
1502
X
( AT A)1 AT L
1 4616
3004 102
1502134698 01..42188
❖ 正规方程为： ❖ 5x+102y=49 ❖ 102x+3004y=1386 ❖ 解该方程得到 ❖ x=1.28 ❖ y=0.418
i
第五章线性参数的最小二乘法处理
5-1
最小二乘法（least square method）
1805年，勒让德（Legendre）应用“最小二乘法”， 确定了慧星的轨道和地球子午线段。 1809年，高斯（Gauss）论证其解的最佳性。
经典最小二乘法（即代数最小二乘法）
现代最小二乘法（即矩阵最小二乘法）
(n=t)
正规方程：误差方程按最小二乘法原理转化得到的 有确定解的代数方程组。
5-18
第二节、正规方程
一、等精度测量线性参数最小二乘法的正规方程 二、不等精度测量线性参数最小二乘法的正规方程 三、非线性参数最小二乘法处理的正规方程（略） 四二节
正规方程
一、等精度测量线性参数最小二乘处理的正规方程
误差方程
a11 , a12 , , a1t a , a ,, a 2t A 21 22 a n1 , a n 2 , , a nt
系数矩阵
误差方程
v1 l1 (a11 x1 a12 x 2 a1t xt ) v 2 l 2 (a 21 x1 a 22 x 2 a 2t xt ) v n l n (a n1 x1 a n 2 x 2 a nt xt )
相应的估计值
y1 a11 x1 a12 x 2 a1t xt y 2 a 21 x1 a 22 x 2 a 2t xt y n a n1 x1 a n 2 x 2 a nt xt
其误差方程：
v1 l1 (a11 x1 a12 x 2 a1t xt ) v 2 l 2 (a 21 x1 a 22 x 2 a 2t xt ) v n l n (a n1 x1 a n 2 x 2 a nt xt )
(完整版)5线性参数的最小二乘法处理(精)
一、等精度测量线性参数的LSM处理的正规方 程。
❖ 线性参数的误差方程式为：
l1 a11x1 a12 x2 ... a1t xt v1
l2 a21x1 a22 x2 ... a2t xt v2
……
ln an1x1 an2 x2 ... ant xt vn
v2
AT L A X 0
( AT A) X AT L
❖ 解上面方程组得
X AT A 1 AT L Nhomakorabea❖ 可以证明最小二乘估计值是无偏估计。
❖ 测量方程为：
❖
x+2y=3
❖
x+10y=5
❖
x+20y=8
❖
x+30y=15
❖
x+40y=18
1 2
1 10
A 1
20
1 30
1
40
3 5
ank [ln (an1 x1 an2 x2 ... ant xt )] 0 k 1,2, ,t
记
[ai ai ] a1i a1i a2i a2i ... ani ani i 1,2 ,t [ai a j ] a1i a1 j a2i a2 j ani anj (i, j 1,2, ,t) [ai L] a1il1 a2il2 ... aniln i 1,2 ,t
' i
.........
i
L* A* X V *
最小 ❖
V *V
(L*
A*
^
X )T(L*
A*
^
X)
第二节 正规方程
❖ 为了得到可靠的测量结果，测量次数n总是要 多于未知数的数目t。因而直接用一般解代数 方程的方法求解这些未知数是不可能的。最 小二乘法可以将误差方程转化为有确定解的 代数方程，而且方程个数正好等于未知数的 个数，从而可求解这些未知数。
最小二乘法与曲线拟合公开课获奖课件百校联赛一等奖课件
N
2 aikait
i 1
(k,t 1,2,, n)
故
N
ai21
i 1 N
M
2
i
1
ai1ai 2
N
i 1
ai1ain
N
ai1ai2
i 1
N
ai22
i 1
N
ai2ain
i 1
N
ai1ai3
i 1
N
ai2ai3
i 1
N
ai3ain
i 1
N
ai1ain
i 1 N
i 1
ai 2 ain
令
n
i aij x j bi
(i 1,2,, N )
称 i为偏差。 j1
工程实际中旳许多问题都能够归结为矛盾方程组，
实际中需要谋求矛盾方程组旳一组解，以使得偏差旳 N
绝对值之和 尽i 量地小。为了便于分析
i 1
计算和应用，常采用使偏差旳平方和
Q
N
2 i
N
n
2 aij x j bi
这组数据。“最佳”旳原则是：使得(x)在xi旳
偏差
i (xi ) yi (i 1,2,, N )
旳平方和
N
N
Q
2 i
(xi ) yi 2
i 1
i 1
到达最小。
因为拟合曲线y=(x)不一定过点(xi,yi)，所以，把 点(xi,yi)带入y=(x) ，便得到以a0,a1,…,am为未知
引理2：设非齐次线性方程组 Ax
旳b 系数矩阵
A=(aij)N×n，若rankA=n，则
((12))矩n阶阵线AT性A是方对程称组正AT 定Ax矩 阵有AT；唯b 一旳解。
系统辨识第5章 线性动态模型参数辨识 最小二乘法
度函数
，则称uS(uk()为) “持续激励”信号。
● 定义4 一个具有谱密度 Fn (为z 1的) 平f1z稳1 信f2号z 2u(k)称fn为z nn 阶
“持续激励”Fn信(e号j )，2 S若u (对) 一0 切形如 Fn (e j ) 0
的滤波器，关系式
，意味着
。
● 定理2 设输入信号u(kR)u是(0)平稳R随u (1机) 信号，Ru (如n 果1)相关函数矩阵
式中
zL H L nL
nzHLLL[[zn(h(hh11TT)T),((,(zL12n())()22)),,,,znz(((LzLzL)(()]10]))1)
z(1 na ) z(2 na )
z(L na )
u(0) u(1)
u(L 1)
u(1 nb )
u(2
nb
)
u(L nb )
5.2 最小二乘法的基本概念
● 两种算法形式
① 批处理算法：利用一批观测数据，一次计算或经反复迭代，
以获得模型参数的估计值。
②
递推算法：在上次模型参数估计值
ˆ
(k
1)的基础上，根据当
前获得的数据提出修正，进而获得本次模型参数估计值ˆ (k )，
广泛采用的递推算法形式为
(k ) (k 1) K (k )h(k d )~z (k )
z(k ) h (k ) n(k )
式中z(k)为模型输出变量，h(k)为输入数据向量， 为模型参
数向量，n(k)为零均值随机噪声。为了求此模型的参数估计值， 可以利用上述最小二乘原理。根据观测到的已知数据序列
和{z(k)} ，{h极(k小)} 化下列准则函数
L
J ( ) [z(k ) h (k ) ]2
最小二乘法
而最小方差估计由(4.65) 得 ψ Mv = E{[ X T (σ 2 I ) −1 X ]−1} = σ 2 E{( X T X ) −1} = ψ
ˆ 在满足一定噪声条件下 这说明 LSE 的估计 Θ
是一个最小方差估计， 即一个有效估计。 由此可知， LSE 是无偏的、有效的、一致的 4.5.5 最小二乘的局限性
i =1 n
列。以一阶系统为例，对于系统 y ( k ) = − ay ( k − 1) + bu ( k − 1) + ε (k ) ，ε ( k ) = v ( k ) + av ( k − 1) 。它的 最小二乘估计为
θˆ = ( X T X ) −1 X T Y ，
-3-
⎡ X T (1) ⎤ ⎢ T ⎥ X (2) ⎥ T ⎢ ˆ 其中 θ = [− a, b] ， X = ， X T (i ) = [ y (i ) u (i )] ⎢ M ⎥ ⎢ T ⎥ ⎢ X ( N )⎦ ⎥ ⎣ ⎡ N 2 ⎢ ∑ y (i ) θˆ = ⎢ Ni =1 ⎢ ⎢∑ y (i )u (i ) ⎣ i =1
= aσ 2
ˆ} ≠ Θ 。 可见，即使 E{v ( k )} = 0 ，因为一阶系统 ε (k ) 一步相关， Rεε (1) ≠ 0 ，所以 E{Θ
-4-
4.6 辅助变量法（IV） 设为有色噪声或相关序列，则因为
Y = XΘ + ε 所以它的 N 次观测 (N>2n) 后的最小二乘估计为
ˆ = ( X T X ) −1 X T Y = Θ + ( X T X ) −1 X T ε Θ
2 (0) 其中 Δ = R yy (0) Ruu (0) − Ruy
R yy (1) = E[ y ( k + 1) y ( k )]
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
e(2) (k)
，按步骤
（3）重新估计f，得到估计值
^
f
(2)
。再按步骤（4）
计算
(2)
y (k)
和
u
(
2
)
(k
)
，按步骤（5）求
的第3次估计
值。
重复上述循环步骤，直到
的估计值
^
(i)
收敛为止。
上述循环的收敛性可用下式判断，即
^ (i)
lim f (z 1 ) 1
i
即当
i 比较大时，如果
5、辅助变量法
对于原辨识问题
y
（1）
当 (k) 是不相关随机序列时，最小二乘法可得到 参数向量 的一致性无偏估计。
但实际应用中，(k) 往往是相关随机序列。
假定存在一个 (2n 1) N 的矩阵 （Z 与 同阶数）
满足约束条件
Nlim
1 N
ZT
E
ZT
0
Nlim
1 N
ZT
估计值
^ (1)
f
((1) )T (1)
1 ((1) )T e(1)
式中
^ (1)
f1
^ (1)
^ (1)
f f2
^
(1)
f m
e(1) (n 1)
e (1)
e
(1)
(n
2)
e
(1)
(n
N
)
e(1) (n)
e(1) (n 1)
(1)
e(1) (n 1)
)
是持续激励信号时，必有
E
^
T k
是非奇异矩
阵。又因为
^
y(k)
只与 u(k )
有关，也就是说
^
必与噪
k
声无关，故有E^ (n k) 0 因而满足式（2）中的
两个约束条件。
但式（9）中的参数向量
^
的元素正是要辨识的参数，
而这些参数尚未确定，又如何应用式（9）来确定 辅助变量 ？y^ (k)
方法是：
N 1 N
z N 1 )
PN1
1
K N 1
T N 1
PN
初始条件可选
^
0, P0
c2I,
c 是充分大的数，I
为
(2n 1) (2n 1) 单位矩阵
递推辅助变量法缺点：对初始值的选取比较敏感，最好在50个
到100个采样点用递推最小二乘法，然后转换为辅助变量法
7、广义最小二乘法
设系统的差分方程为
[
y(n
N)
y(N 1) u(n N 1)
u(N 1)]
则有
PN 1
Z N T
z
T N
1
N 1
T N
1
PN1
z N 1
T N 1
1
按递推最小二乘法公式的推导方法可得到递推辅助
变量法计算公式为
^
N 1
^
N
K
N
1
y
N
1
^
T N
1
N
K N 1
(PN
z N 1 ) /(1
P T
克服噪声为有色噪声的问题：辅助变量法和广义最 小二乘法
实例
1、根据热力学原理，对给定质量的气体，体积 V与 压力 P 之间的关系为 PV ，其中 和 为待定参 数。经实验获得如下一批数据， 的单位为立方英 寸， 的单位为帕每平方英寸。
V 54.3 61.8 72.4 88.7 118.6 194.0 P 61.2 49.5 37.6 28.4 19.2 10.1 试用最小二乘法确定参数 和 。
应用最小二乘法可求出f 的估值为
^
f (T )1T
由于上式中向量 和矩阵 的元素 (k)是无法直 接测量的。
我们利用残差 e(k)来代替 (k)，残差满足方程
^
^
e(k) a(z 1) y(k) b(z 1)u(k)
将式（7－4）代入式（7－1），有
a(z 1 ) y(k) b(z 1 )u(k) 1 (k)
该方法在实际中得到了较好的利用。
小结
最小二乘法是1795年高斯在他著名的星体运动轨道 预报研究工作中提出的。此后，它成了估计理论 的奠基石。
最小二乘法思想：使各次实际观测值和计算值之间 差值的平方最小。
由于最小二乘法原理简单，编制程序也不困难，所 以很受人们重视，应用广泛。
基本方法：一次完成方法和递推方法 克服递推最小二乘法缺陷：适应算法。
y(n) y(n 1)
T N
y(n N 1)
y(1) u(n 1)
y(2) u(n 2)
y(N) u(n N)
u(1)
u(2)
u(N )
则
1
N
ZT
1 N
N^
T k
k 1
E ^
T k
1
N
ZT
1 N
N^
k 1
(n k)
E ^
(n k)
当
u(k
^
^
y(k)
（9）
的输出向量
^
y
的元素，辅助变量矩阵为
^T
1
^
y(n)
Z
^
T 2
^
y(n 1)
^T
^
N y(n N 1)
^
y(1)
^
y(2)
u(n 1) u(n 2)
^
y(N) u(n N)
u(1)
u(2)
u( N )
令
T 1
T 2
法完全相同，只是辅助模型中参数向量
^
的估计
方法不同。取
^
^
^
(k) (1) (k 1) (k d)
式中： 取 0.01~ 0.1 ；d 取0 ~ 10 ；^ (k)为 k 时刻所得 到的参数向量估计值。
当 u(k)是持续激励信号时，所选的辅助变量可以满 足式（2）所给出的2个约束条件。
f
式中
(n 1) (n 2)
f
f1
f2
fm T
(n 1) (n 2)
(n N )T (n N )T
(n)
(n 1)
(n 1)
(n)
(n N 1) (n N 2)
(n 1 m)
(n
2
m)
(n N m)
^ (1)
^ (1)
e(1) (k) a (z 1 ) y(k) b (z 1 )u(k)
或
e(1) (k)
y
(k
)
a^ (1) 1
y(k
1)
^
a
n
(1)
y(k
n)
^
^
b0(1) u(k 1) bn(1) u(k n),k n, n 1, , n N
3）用残差e(1) (k)代替 (k) ，利用（7－11）计算f的
从公式（5）可以看出，^ IV与最小二乘法估值
^
的
计算公式具有相同的形式，因而计算比较简单。
根据公式（4）和（5）可得
^
IV
ZT
1 Z T
当N很大时，对上式等号两边取极限得
lim
^
IV
lim
1
1
Z T
lim
(
1
ZT)
N
N N
N N
根据（2）式所限定得约束条件，可得 ^ lim IV N
（7－3） （7－4）
式中 f (z 1 ) 是 z 1的多项式，即
f (z 1 ) 1 f1z 1 f m z m
把上式代入（7－3），有
(1 f1z 1 fm z m ) (k) (k)
或
(k) f1 (k 1) fm (k m) (k)
把上式看作输入为零的差分方程，根据上式可写 出N个方程，即
a(z 1) y(k) b(z 1)u(k) (k)
式中
a(z 1) 1 a1z 1 an z n b(z 1) b0 b1z 1 bn z n
如果知道有色噪声序列 (k) 的相关性，就可以把随 机序列 (k) 表示成白噪声通过线性系统后所得的结 果。
设线性系统的输入为白噪声 (k)，输出为有色噪 声 (k) ，这种线性系统称为形成滤波器。
广义最小二乘法的计算步骤：
1）应用得到的输入和输出数据 u(k) 和 y(k) ，按模型
a(z 1) y(k) b(z 1)u(k) (k) k 1,2, , n N
求出 的最小二乘估计
^ (1)
^ (1)
a1
^ (1)
an
^ (1)
b0
^ (1) T bn
2）计算残差 e(1) (k)
3）纯滞后
辅助变量选为纯滞后环节时，则式（10）中的
取作 ^
y(k) u(k nb )
式中 nb为多项式
b(z1) b0 b1z1 bnb znb
的阶次。本书中取 nb n ，则辅助变量矩阵为
^T
1 u(0) u(1 n) u(n 1) u(1)
^T
Z 2
^
f
(i)
(z 1)近似为1，则意味
着已把残差 e(k)白噪声化了，数据不需要继续滤
波了，这时得到的估计值与上一循环相同，这就
是说，经过
i次循环，计算结果就收敛了，估值
^ (i)
就是参数向量 的一个良好估计。
广义最小二乘法的优点是估计的效果比较好，缺 点是计算比较麻烦。另外，对于循环的收敛性还 没有给出证明。