系统辨识课件3

θ = Φ −1Y
而在实际工程中，ξ肯定不等于0，且N>>(2n+1)，即方程个 数远大于未知数，故而上述θ的解不成立。 当前任务： 当前任务： 在存在噪声ξ和数据长度N>>(2n+1)的情况下， 如何进行参数θ的估计。
2.基本的最小二乘法(LS) 2.基本的最小二乘法(LS) 基本的最小二乘法
辨识准则： 辨识准则：残差平方和最小。 (1)残差e
考查
Ru ( 0) R (1) Ru = u ⋮ Ru ( n )
Ru (1) Ru ( 0) ⋮ Ru (n − 1)
⋯ Ru ( n − 1) ⋮ ⋯ Ru ( 0 ) ⋯ Ru ( n )
若Ru为强对角线占优矩阵，则Ru正定。 哪些输入信号{u(k)}的Ru是强对角线占优矩阵？以下输 入信号均能满足Ru正定的要求： (1)白噪声序列； (2)伪随机二位式噪声序列； (3)有色噪声随机信号序列。 工程上常用“伪随机二位式噪声序列”、“有色噪声 随机信号序列”作为输入信号。
∂2 J ⇒ 2 = 2Φ T Φ ˆ ∂θ而φ阵为测量矩阵，它由输入/输出数 据组成，故而“φTφ为正定阵”必与输入信号u(k)密切相 关。因此，需要讨论LS方法对输入信号的要求。
3. 最小二乘法对输入信号的要求
主要讨论 Φ T Φ > 0 对输入信号u(k)的要求。
(3.2)
上式即为最小二乘法的参数估计结果。 上式即为最小二乘法的参数估计结果。
讨论：理论上，偏导为0只能说明J取得极值。可能为极大 值，也可能为极小值。 使J为极小值的条件为：
∂2J >0 ˆ2 ∂θ
⇒ ∂J ˆ ˆ = −2Φ T (Y − Φθ) = −2Φ T Y + 2Φ T Φθ ˆ ∂θ
n + N −1
n + N −1 n+ N −1 − ∑ y(k − 1)u(k + 1) − ∑ y(k )u (k + 1) k =n k =n n + N −1 − ∑ y(k )u (k ) − y(k − 1)u (k ) Φuy = k =n ⋮ ⋮ n+ N −1 n + N −1 − y(k )u (k − n + 1) − ∑ y(k − 1)u (k − n + 1) ∑ k =n k =n n + N −1 n + N −1 2 ∑ u (k + 1)u (k ) ∑ u (k + 1) k =n k =n n + N −1 n + N −1 ∑ u 2 (k ) ∑ u ( k )u (k + 1) Φ uu = k = n k =n ⋮ ⋮ n + N −1 n + N −1 u ( k − n + 1)u ( k + 1) ∑ u ( k − n + 1)u (k ) ∑ k =n k =n
J取得最小值，也即J为极值，则有：
∂J = 0 ˆ ∂θ
ˆ ˆ ∂[(Y − Φ θ ) T (Y − Φ θ )] ⇒ =0 ˆ ∂θ
ˆ ⇒ −2Φ T (Y − Φθ) = 0
ˆ ⇒ Φ TΦθ = Φ TY
其中, (Φ
T
Φ)
为(2n+1)×(2n+1)的方阵。
T
若其逆阵存在，则：
ˆ θ = (Φ T Φ ) −1 Φ Y
− y(n) − y(n + 1) ⋮ ⋮ − y(1) − y(2) ΦT Φ = u(n + 1) u(n + 2) ⋮ ⋮ u(2) u(1) ⋯ − y(n + N − 1) − y(n) ⋮ ⋯ − y(1) u(n + 1) ⋯ u(1) ⋯ ⋯ − y(2) u(n + 2) ⋯ u(2) − y( N ) − y(n + 1) × ⋯ ⋮ ⋮ ⋮ u (n + N ) ⋮ ⋮ − y(n + N − 1) ⋯ − y( N ) u(n + N ) ⋯ u( N ) ⋯ u( N )
第3章 最小二乘法辨识
近代辨识：最小二乘法、极大似然法 近代辨识 辨识对象： 辨识对象：以单输入单输出系统差分方程为模型 辨识内容：系统模型参数和系统模型阶次n 辨识内容： 学习内容： 学习内容：各种参数估计算法的推导、特点、 流程、优缺点及适用范围
3.1 基本的最小二乘估计
解决问题： 解决问题：在模型阶次n已知的情况下，根据系统的输入输出数 据，估计出系统差分方程的各项系数。
⋯ R u ( n − 1) ⋮ ⋯ Ru (0) ⋯ Ru (n)
R u (1) Ru (0) ⋮ R u ( n − 1)
于是有： J取得极小值→φTφ正定→R正定→Ru正定。 因此： J取得极小值的必要条件为Ru为正定阵 取得极小值的必要条件为R 为正定阵。 这就是最小二乘法对输入信号的要求。 定义： 如果序列{u(k)}的(n+1)阶方阵Ru是正定的，则称序列 {u(k)}为(n+1)阶持续激励信号。 因此，最小二乘法对输入信号的要求为： {u(k)}为(n+1)阶持续激励信号 {u(k)}为(n+1)阶持续激励信号
⋯ −
∑ k =n n + N −1 ⋯ − ∑ y (k − 1)u (k − n + 1) k =n ⋮ n + N −1 ⋯ − ∑ y (k − n + 1)u (k − n + 1) k =n y (k )u (k − n + 1)
y(k − n + 1)u(k + 1)
4. 最小二乘估计的概率性质
最小二乘估计的概率性质主要有以下四方面： (1)估计的无偏性； (2)估计的一致性； (3)估计的有效性； (4)估计的渐进正态性。 我们主要讨论前两项：无偏性和一致性。
(1)估计的无偏性 (1)估计的无偏性 无偏性估计的定义：
ˆ ˆ 若 E θ = E {θ } = θ ，则称 θ是参数θ的无偏估计。
Φ yy = Φ uy
Φ yu Φ uu
∑ ∑ k =n k =n n+ N −1 n+ N −1 2 ⋯ ∑ y(k − 1) y(k − n + 1) ∑ y (k − 1) k =n k =n ⋮ ⋯ ⋮ n+ N −1 n + N −1 2 ∑ y(k − n + 1) y(k − 1) ⋯ ∑ y (k − n + 1) k =n k =n y(k ) y(k − 1) ⋯ y(k ) y(k − n + 1)
∑ a n(k − i)
i =1 i
n
则当前输出为：
y(k ) = −a1 y(k −1) −⋯− an y(k − n) + b0u(k ) + b1u(k −1) + ⋯+ bnu(k − n) + ξ (k )
设观测数据有(n+N)个，令k分别等于n+1,···,n+N,则有：
y(n +1) = −a1 y(n) −⋯− an y(1) + b0u(n +1) + ⋯+ bnu(1) + ξ (n +1) y(n + 2) = −a1 y(n +1) −⋯− an y(2) + b0u(n + 2) + ⋯+ bnu(2) + ξ (n + 2) ⋮ y(n + N) = −a y(n + N −1) −⋯− a y(N) + b u(n + N) + ⋯+ b u(N) + ξ (n + N) 1 n 0 n
⋯ − ⋯
⋯
⋯ ⋯
⋯
k =n n + N −1 − ∑ y(k − n + 1)u (k ) k =n ⋮ n + N −1 − ∑ y(k − n + 1)u(k − n + 1) k =n n + N −1 u (k + 1)u (k − n + 1) ∑ k =n n + N −1 u (k )u ( k − n + 1) ∑ k =n ⋮ n + N −1 2 ∑ u (k − n + 1) k =n
记为：
Y N ×1 = Φ
N × ( 2 n +1)
θ ( 2 n + 1 ) ×1 + ξ
N ×1
N
输出向量 测量矩阵 参数矩阵 噪声矩阵 数据长度
(注：实际数据个数为n+N)
即
Y =Φθ+ξ
(3.1)
若N=(2n+1)且ξ=0，则上式中的φ阵为(2n+1)×(2n+1)的 φ 方阵。由此，可解得θ的唯一解为：
x(k ) = y(k ) − n(k )
将x(k)代入上式，可得输入输出数据方程为：
y (k ) + a1 y (k − 1) + ⋯ + an y (k − n) = b0u (k ) + b1u (k − 1) + ⋯ + bn u (k − n) + ξ (k )
ξ (k ) = n (k ) +
上式写成向量形式为：
⋯ y(n +1) − y(n) y(n + 2) − y(n +1) ⋯ = ⋮ ⋮ y(n + N) − y(n + N −1) ⋯ − y(1) − y(2) ⋮ − y(N) a1 u(n +1) ⋯ u(1) ⋮ ξ(n +1) a ξ(n + 2) u(n + 2) ⋯ u(2) n + ⋮ ⋮ bo ⋮ u(n + N) ⋯ u(N) ⋮ ξ(n + N) bn