系统辨识课件3

∂2 J ⇒ 2 = 2Φ T Φ ˆ ∂θ
⇒ ΦTΦ > 0
也即φTφ为正定阵。而φ阵为测量矩阵，它由输入/输出数 据组成，故而“φTφ为正定阵”必与输入信号u(k)密切相 关。因此，需要讨论LS方法对输入信号的要求。
3. 最小二乘法对输入信号的要求
主要讨论 Φ T Φ > 0 对输入信号u(k)的要求。
(3.2)
上式即为最小二乘法的参数估计结果。 上式即为最小二乘法的参数估计结果。
讨论：理论上，偏导为0只能说明J取得极值。可能为极大 值，也可能为极小值。 使J为极小值的条件为：
∂2J >0 ˆ2 ∂θ
⇒ ∂J ˆ ˆ = −2Φ T (Y − Φθ) = −2Φ T Y + 2Φ T Φθ ˆ ∂θ
x(k ) = y(k ) − n(k )
将x(k)代入上式，可得输入输出数据方程为：
y (k ) + a1 y (k − 1) + ⋯ + an y (k − n) = b0u (k ) + b1u (k − 1) + ⋯ + bn u (k − n) + ξ (k )
ξ (k ) = n (k ) +
考查
Ru ( 0) R (1) Ru = u ⋮ Ru ( n )
Ru (1) Ru ( 0) ⋮ Ru (n − 1)
⋯ Ru ( n − 1) ⋮ ⋯ Ru ( 0 ) ⋯ Ru ( n )
若Ru为强对角线占优矩阵，则Ru正定。 哪些输入信号{u(k)}的Ru是强对角线占优矩阵？以下输 入信号均能满足Ru正定的要求： (1)白噪声序列； (2)伪随机二位式噪声序列； (3)有色噪声随机信号序列。 工程上常用“伪随机二位式噪声序列”、“有色噪声 随机信号序列”作为输入信号。
ˆ ˆ e= Y−Y , Y
ˆ ˆ 为模型的计算值，即 Y = Φ θ
(2)指标函数J
J =
n+ N k = n +1
∑e
2
ˆ ˆ ( k ) = ee T = ( Y − Φ θ ) T ( Y − Φ θ )
故而，最小二乘法辨识就是使J最小的参数估计方法。 即有：
θˆ = min J
θ
下面我们推导θ估计值的计算方法。
n+ N −1 n+ N −1
n+ N −1 2 ∑ y (k ) n+k =−n1 N Φ 其中， yy = ∑ y(k − 1) y(k ) k =n ⋮ n+ N −1 ∑ y(k − n + 1) y(k ) k =n
Φ yu
n + N −1 n+ N −1 − ∑ y (k )u (k ) − ∑ y (k )u (k + 1) k =n k =n n + N −1 n+ N −1 − ∑ y (k − 1)u (k + 1) − ∑ y (k − 1)u (k ) = k =n k =n ⋮ ⋮ n+ N −1 n + N −1 − y (k − n + 1)u (k + 1) − ∑ y (k − n + 1)u (k ) ∑ k =n k =n
θ = Φ −1Y
而在实际工程中，ξ肯定不等于0，且N>>(2n+1)，即方程个 数远大于未知数，故而上述θ的解不成立。 当前任务： 当前任务： 在存在噪声ξ和数据长度N>>(2n+1)的情况下， 如何进行参数θ的估计。
2.基本的最小二乘法(LS) 2.基本的最小二乘法(LS) 基本的最小二乘法
辨识准则： 辨识准则：残差平方和最小。 (1)残差e
⋯ −
∑ k =n n + N −1 ⋯ − ∑ y (k − 1)u (k − n + 1) k =n ⋮ n + N −1 ⋯ − ∑ y (k − n + 1)u (k − n + 1) k =n y (k )u (k − n + 1)
y(k − n + 1)u(k + 1)
第3章 最小二乘法辨识
近代辨识：最小二乘法、极大似然法 近代辨识 辨识对象： 辨识对象：以单输入单输出系统差分方程为模型 辨识内容：系统模型参数和系统模型阶次n 辨识内容： 学习内容： 学习内容：各种参数估计算法的推导、特点、 流程、优缺点及适用范围
3.1 基本的最小二乘估计
解决问题： 解决问题：在模型阶次n已知的情况下，根据系统的输入输出数 据，估计出系统差分Leabharlann Baidu程的各项系数。
∑ a n(k − i)
i =1 i
n
则当前输出为：
y(k ) = −a1 y(k −1) −⋯− an y(k − n) + b0u(k ) + b1u(k −1) + ⋯+ bnu(k − n) + ξ (k )
设观测数据有(n+N)个，令k分别等于n+1,···,n+N,则有：
y(n +1) = −a1 y(n) −⋯− an y(1) + b0u(n +1) + ⋯+ bnu(1) + ξ (n +1) y(n + 2) = −a1 y(n +1) −⋯− an y(2) + b0u(n + 2) + ⋯+ bnu(2) + ξ (n + 2) ⋮ y(n + N) = −a y(n + N −1) −⋯− a y(N) + b u(n + N) + ⋯+ b u(N) + ξ (n + N) 1 n 0 n
J取得最小值，也即J为极值，则有：
∂J = 0 ˆ ∂θ
ˆ ˆ ∂[(Y − Φ θ ) T (Y − Φ θ )] ⇒ =0 ˆ ∂θ
ˆ ⇒ −2Φ T (Y − Φθ) = 0
ˆ ⇒ Φ TΦθ = Φ TY
其中, (Φ
T
Φ)
为(2n+1)×(2n+1)的方阵。
T
若其逆阵存在，则：
ˆ θ = (Φ T Φ ) −1 Φ Y
n + N −1
n + N −1 n+ N −1 − ∑ y(k − 1)u(k + 1) − ∑ y(k )u (k + 1) k =n k =n n + N −1 − ∑ y(k )u (k ) − y(k − 1)u (k ) Φuy = k =n ⋮ ⋮ n+ N −1 n + N −1 − y(k )u (k − n + 1) − ∑ y(k − 1)u (k − n + 1) ∑ k =n k =n n + N −1 n + N −1 2 ∑ u (k + 1)u (k ) ∑ u (k + 1) k =n k =n n + N −1 n + N −1 ∑ u 2 (k ) ∑ u ( k )u (k + 1) Φ uu = k = n k =n ⋮ ⋮ n + N −1 n + N −1 u ( k − n + 1)u ( k + 1) ∑ u ( k − n + 1)u (k ) ∑ k =n k =n
记为：
Y N ×1 = Φ
N × ( 2 n +1)
θ ( 2 n + 1 ) ×1 + ξ
N ×1
N
输出向量 测量矩阵 参数矩阵 噪声矩阵 数据长度
(注：实际数据个数为n+N)
即
Y =Φθ+ξ
(3.1)
若N=(2n+1)且ξ=0，则上式中的φ阵为(2n+1)×(2n+1)的 φ 方阵。由此，可解得θ的唯一解为：
上式写成向量形式为：
⋯ y(n +1) − y(n) y(n + 2) − y(n +1) ⋯ = ⋮ ⋮ y(n + N) − y(n + N −1) ⋯ − y(1) − y(2) ⋮ − y(N) a1 u(n +1) ⋯ u(1) ⋮ ξ(n +1) a ξ(n + 2) u(n + 2) ⋯ u(2) n + ⋮ ⋮ bo ⋮ u(n + N) ⋯ u(N) ⋮ ξ(n + N) bn
1.基于输入/ 1.基于输入/输出数据的系统模型描述 基于输入
SISO系统的差分方程为
x(k ) + a1 x(k −1) + ⋯+ an x(k − n) = b0u(k ) + ⋯+ bnu(k − n) y(k ) = x(k ) + n(k )
式中，x(k)为理论输出值，y(k)为实际观测值，n(k)为观测 噪声。则有：
− Ruy (−1) − Ruy (−2) R uy = ⋮ − Ruy (−n)
Ru (0) R (1) Ru = u ⋮ Ru ( n)
− Ruy (0)
⋯ Ruy (n − 1) − Ruy (−1) ⋯ Ruy (n − 2) = RT yu ⋮ ⋮ − Ruy (−n + 1) ⋯ Ruy (0)
4. 最小二乘估计的概率性质
最小二乘估计的概率性质主要有以下四方面： (1)估计的无偏性； (2)估计的一致性； (3)估计的有效性； (4)估计的渐进正态性。 我们主要讨论前两项：无偏性和一致性。
(1)估计的无偏性 (1)估计的无偏性 无偏性估计的定义：
ˆ ˆ 若 E θ = E {θ } = θ ，则称 θ是参数θ的无偏估计。
⋯ − ⋯
⋯
⋯ ⋯
⋯
k =n n + N −1 − ∑ y(k − n + 1)u (k ) k =n ⋮ n + N −1 − ∑ y(k − n + 1)u(k − n + 1) k =n n + N −1 u (k + 1)u (k − n + 1) ∑ k =n n + N −1 u (k )u ( k − n + 1) ∑ k =n ⋮ n + N −1 2 ∑ u (k − n + 1) k =n
n + N −1
∑
则当N→∞时，有：
Ry 1 T Φ Φ= N →∞ N R uy lim
Ry (0) Ry (1) Ry = ⋮ Ry (n − 1) Ry (1) Ry (0) ⋮ Ry (n − 2)
R yu =R Ru
⋯ Ry (n − 1) ⋯ Ry (n − 2) ⋮ ⋯ Ry (0)
− y(n) − y(n + 1) ⋮ ⋮ − y(1) − y(2) ΦT Φ = u(n + 1) u(n + 2) ⋮ ⋮ u(2) u(1) ⋯ − y(n + N − 1) − y(n) ⋮ ⋯ − y(1) u(n + 1) ⋯ u(1) ⋯ ⋯ − y(2) u(n + 2) ⋯ u(2) − y( N ) − y(n + 1) × ⋯ ⋮ ⋮ ⋮ u (n + N ) ⋮ ⋮ − y(n + N − 1) ⋯ − y( N ) u(n + N ) ⋯ u( N ) ⋯ u( N )
Φ yy = Φ uy
Φ yu Φ uu
∑ ∑ k =n k =n n+ N −1 n+ N −1 2 ⋯ ∑ y(k − 1) y(k − n + 1) ∑ y (k − 1) k =n k =n ⋮ ⋯ ⋮ n+ N −1 n + N −1 2 ∑ y(k − n + 1) y(k − 1) ⋯ ∑ y (k − n + 1) k =n k =n y(k ) y(k − 1) ⋯ y(k ) y(k − n + 1)
⋯ R u ( n − 1) ⋮ ⋯ Ru (0) ⋯ Ru (n)
R u (1) Ru (0) ⋮ R u ( n − 1)
于是有： J取得极小值→φTφ正定→R正定→Ru正定。 因此： J取得极小值的必要条件为Ru为正定阵 取得极小值的必要条件为R 为正定阵。 这就是最小二乘法对输入信号的要求。 定义： 如果序列{u(k)}的(n+1)阶方阵Ru是正定的，则称序列 {u(k)}为(n+1)阶持续激励信号。 因此，最小二乘法对输入信号的要求为： {u(k)}为(n+1)阶持续激励信号 {u(k)}为(n+1)阶持续激励信号