现代控制理论_第14章_最小二乘法辨识
合集下载
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
i 1 n i 0 n n
y n 2 ai y n 2 i bi u n 2 i n 2
i 1 i 0
n
y n N ai y n N i bi u n N i n N
即
y k ai y k i bi u k i v k ai v k i
i 1 i 0 i 1
n
n
n
(14-3)
假设v k k 1,2,, n 是均值为零的独立分布的平稳随机序列，且与 序列u k k 1,2,, n 相互独立。设
ˆ 表示 y 的最优估值，则有 设ˆ 表示 的最优估值， y
ˆ ˆ y
(14-12)
式中
ˆ n 1 y a ˆ ˆ y n 2 ˆ ˆ y , b ˆ ˆ y n N
T 的展开式如下所示：
y n 1 y n y n y n 1 y 1 y 2 T u n 1 u n 2 u n 1 u n u 2 u 1 y n N 1 n 1 y n N 2 n 2 yN u n N u n N 1 n N uN
1
因为ˆ 有解与 T 正定等价，所以可以保证 T 正定来确定对输 入 u k 序列的要求。由式(14-9)可知
Y U
(14-20)
则
YT U YT U Y T Y U T T T U Y U U U
(14-22)
由于与 不相关，则式(14-18)给出的ˆ是 的无偏估计。把式 (14-9)代入式(14-18)，得
1 1 T T T T ˆ
(14-23)
对上式等号两边取数学期望
ˆ E E T T E
由此式用 左乘等号的两边，得
T 1 1 T T ˆ y
(14-18)
J为极小值的充分条件是
2 J T 0 2 ˆ
(14-19)
T 显然，当矩阵 存在时，式(14-18)才有解。一般说来，如果 T u k 是随机序列或伪随机二位式序列，则矩阵 是非奇异的 1 T ，即 存在，式(14-18)有解。
y n 1 n 1 a an y n 2 n 2 , ， y b b0 y n N n N bn
y 1，y 2 ， ，y n N 现在分别测出个 n N 输出值和输入值： ，u n N 。则可写出N个方程： 及 u 1，u 2 ，
y n 1 ai y n 1 i bi u n 1 i n 1
写出式(14-12)的某一行，得
ˆ k ai y k i bi u k i y
i 1 i 0 n n
，n N k n 1，n 2，
(14-13)
ˆ k 之差，通常称它为残差。 设 e k 表示 y k 与 y
为输
y 2
u n 1
(14-8)
式(14-7)也可写成
y
(14-9)
式中
Y U a ， b
为 N 2n 1 维测量矩阵， 为2n 1维参数向量。因此，式(14-9) 是一个含有2n 1个未知参数的N个方程组成的联立方程组。如果 N 2n 1 ，则方程组是不定的，不能唯一地确定参数向量。如 果 N＝2n 1 ，则当测量误差 0 时，就能准确地解出参数向量，
因此，要求 T 正定，根据正定矩阵的性质，必须保证 U T U 正定 。这个条件称为 n 阶持续激励条件。通常，输入u k 序列采用随 机序列或M序列时，它们都满足这个持续激励条件。显然，若u k 为常值序列时， U T U 为奇异阵，不满足持续激励条件。 下面讨论另一个重要问题，即估计的一致性和无偏性。
(14-2)
(14-3)
把式 (14-3)代入式(14-1)，得
y k a1 y k 1 a2 y k 2 an y k n b0u k b1u k 1 bn u k n v k a1v k 1 a2 v k 2 an v k n
断地给出参数估计。这些估计方法都可推广到多输入－多 输出系统的参数估计问题，例如导弹稳定系统控制。
第一节
最小二乘法辨识与递推最小二乘法辨识
一个单输入－单输出线性定常系统可用图14-1表示。系统的差 分方程为
x k a1 x k 1 a2 x k 2 an x k n b0u k 1 b1u k 2 bn u k n
i 1 i 0 n n
(14-15)
，n N分别代入式(14-14)，可得残差 e n 1， 把 k n 1，n 2， e n 2 ， ，e n N 把这些残差写成向量形式：
e n 1 e n 2 yy ˆ e e n N
(14-16)
最小二乘法估计要求残差的平方和为最小，即按照指标函数
ˆ J e e y
T
y ˆ
T
(14-17)
为最小确定估值 ˆ 。
可按
J 0 ˆ
来求 的最小二乘法估计值ˆ。
J ˆ 0 2 T y ˆ
即
ˆ Ty T
k v k ai v k i
i 0 n
(14Байду номын сангаас5)
则式(14-4)变成
y k ai y k i bi u k i (k )
i 1 i 0 n n
(14-6)
如果u k 也有测量误差，则在 k 中应包含这一测量误差。
n n ˆ k y k ai y k i bi u k i e k y k y i 0 i 1 ，n N k n 1，n 2，
(14-14)
由式(14-14)得
y k ai y k i bi u k i e k
k 1,2,
(14-1)
式中u k 为输入信号， x k 为理论上的输出值。u k 通过观测得 到，在观测过程中往往附加有随机干扰。
观测值 y k 用下式表示：
y k x k v k v k 为随机干扰。由上式得 x k y k v k
i 1 i 0 n n
上述N个方程可写成下列向量－矩阵形式
a y Y U b
(14-7)
a为a1，a2， ，an 所组成的维向量 式中 y 为N个输出值组成的向量； 为 n 1， n 2 ， ， n N ，b为b0，b1， ，bn 所组成的 n 1 维向量； 所组成的N维噪声， 即 a
1
，y n N 1 所组成的 N n 阵块；U Y为输入值 y 1，y 2 ， ，u n N 所组成的 N n 1 矩阵块。即 入值 u 1，u 2 ，
y n 1 y n y n 1 y n Y U y n N 1 y n N 2 y 1 y N u n 1 u n N u 1 u n 1 u 2 u n N 1 u N u n
因输出值 y是随机的，所以ˆ 是随机的，但要注意到 不是随机 的。如果
ˆ E E
则称 ˆ是 的无偏估计。 如果式(14-6)中的 k 是不相关随机序列，且其均值为零（ 实际上 k 往往得相关随杨序列，对这种情况，以后专门讨论。 并假设序列 k 与n k 不相关。当 k 为不相关随机序列时， y k 只与 k 及其以前的 k 1， k 2 ， ， 有关，而与 k 1 及其 ， 以后的 k＋2 ， k＋3， 等无关。从 T 的展开式可看出， 与 不相关。
即
1y
(14-10)
如果测量误差不等于零，则
1y 1
(14-11)
从上式可看出，随机测量噪声 对参数 的估计值有影响，为了 尽量减小 对 的估值的影响，应该取N 2n 1 ，即方程数目大于 未知数数目。在这种情况下，不能用解方程的方法求 ，而要采用 数理统计的方法求 的估值。这样可减小 对 的估值的影响。这 种给定测量向量 y 和测量矩阵 求参数 估值的问题，就是系统参 数的辨识问题。可用最小二乘法或极大似然法求 的估值。 这里先讨论最小二乘法辨识问题。
第十四章
最小二乘法辨识
差分方程模型辨识问题包括模型阶的确定和参数估计两个 方面。本章只讨论单输入－单输出系统在模型结构已知情 况下的最小二乘法参数估计问题，例如水箱液面的控制系
统。
这里对各种估计方法都按离线辨识和在线辨识两种情况进 行讨论。离散辨识是把观测数据集中起来同时处理，得到
参数估值。而在线辨识是在辨识过程中按递推计算方法不
y n 2 ai y n 2 i bi u n 2 i n 2
i 1 i 0
n
y n N ai y n N i bi u n N i n N
即
y k ai y k i bi u k i v k ai v k i
i 1 i 0 i 1
n
n
n
(14-3)
假设v k k 1,2,, n 是均值为零的独立分布的平稳随机序列，且与 序列u k k 1,2,, n 相互独立。设
ˆ 表示 y 的最优估值，则有 设ˆ 表示 的最优估值， y
ˆ ˆ y
(14-12)
式中
ˆ n 1 y a ˆ ˆ y n 2 ˆ ˆ y , b ˆ ˆ y n N
T 的展开式如下所示：
y n 1 y n y n y n 1 y 1 y 2 T u n 1 u n 2 u n 1 u n u 2 u 1 y n N 1 n 1 y n N 2 n 2 yN u n N u n N 1 n N uN
1
因为ˆ 有解与 T 正定等价，所以可以保证 T 正定来确定对输 入 u k 序列的要求。由式(14-9)可知
Y U
(14-20)
则
YT U YT U Y T Y U T T T U Y U U U
(14-22)
由于与 不相关，则式(14-18)给出的ˆ是 的无偏估计。把式 (14-9)代入式(14-18)，得
1 1 T T T T ˆ
(14-23)
对上式等号两边取数学期望
ˆ E E T T E
由此式用 左乘等号的两边，得
T 1 1 T T ˆ y
(14-18)
J为极小值的充分条件是
2 J T 0 2 ˆ
(14-19)
T 显然，当矩阵 存在时，式(14-18)才有解。一般说来，如果 T u k 是随机序列或伪随机二位式序列，则矩阵 是非奇异的 1 T ，即 存在，式(14-18)有解。
y n 1 n 1 a an y n 2 n 2 , ， y b b0 y n N n N bn
y 1，y 2 ， ，y n N 现在分别测出个 n N 输出值和输入值： ，u n N 。则可写出N个方程： 及 u 1，u 2 ，
y n 1 ai y n 1 i bi u n 1 i n 1
写出式(14-12)的某一行，得
ˆ k ai y k i bi u k i y
i 1 i 0 n n
，n N k n 1，n 2，
(14-13)
ˆ k 之差，通常称它为残差。 设 e k 表示 y k 与 y
为输
y 2
u n 1
(14-8)
式(14-7)也可写成
y
(14-9)
式中
Y U a ， b
为 N 2n 1 维测量矩阵， 为2n 1维参数向量。因此，式(14-9) 是一个含有2n 1个未知参数的N个方程组成的联立方程组。如果 N 2n 1 ，则方程组是不定的，不能唯一地确定参数向量。如 果 N＝2n 1 ，则当测量误差 0 时，就能准确地解出参数向量，
因此，要求 T 正定，根据正定矩阵的性质，必须保证 U T U 正定 。这个条件称为 n 阶持续激励条件。通常，输入u k 序列采用随 机序列或M序列时，它们都满足这个持续激励条件。显然，若u k 为常值序列时， U T U 为奇异阵，不满足持续激励条件。 下面讨论另一个重要问题，即估计的一致性和无偏性。
(14-2)
(14-3)
把式 (14-3)代入式(14-1)，得
y k a1 y k 1 a2 y k 2 an y k n b0u k b1u k 1 bn u k n v k a1v k 1 a2 v k 2 an v k n
断地给出参数估计。这些估计方法都可推广到多输入－多 输出系统的参数估计问题，例如导弹稳定系统控制。
第一节
最小二乘法辨识与递推最小二乘法辨识
一个单输入－单输出线性定常系统可用图14-1表示。系统的差 分方程为
x k a1 x k 1 a2 x k 2 an x k n b0u k 1 b1u k 2 bn u k n
i 1 i 0 n n
(14-15)
，n N分别代入式(14-14)，可得残差 e n 1， 把 k n 1，n 2， e n 2 ， ，e n N 把这些残差写成向量形式：
e n 1 e n 2 yy ˆ e e n N
(14-16)
最小二乘法估计要求残差的平方和为最小，即按照指标函数
ˆ J e e y
T
y ˆ
T
(14-17)
为最小确定估值 ˆ 。
可按
J 0 ˆ
来求 的最小二乘法估计值ˆ。
J ˆ 0 2 T y ˆ
即
ˆ Ty T
k v k ai v k i
i 0 n
(14Байду номын сангаас5)
则式(14-4)变成
y k ai y k i bi u k i (k )
i 1 i 0 n n
(14-6)
如果u k 也有测量误差，则在 k 中应包含这一测量误差。
n n ˆ k y k ai y k i bi u k i e k y k y i 0 i 1 ，n N k n 1，n 2，
(14-14)
由式(14-14)得
y k ai y k i bi u k i e k
k 1,2,
(14-1)
式中u k 为输入信号， x k 为理论上的输出值。u k 通过观测得 到，在观测过程中往往附加有随机干扰。
观测值 y k 用下式表示：
y k x k v k v k 为随机干扰。由上式得 x k y k v k
i 1 i 0 n n
上述N个方程可写成下列向量－矩阵形式
a y Y U b
(14-7)
a为a1，a2， ，an 所组成的维向量 式中 y 为N个输出值组成的向量； 为 n 1， n 2 ， ， n N ，b为b0，b1， ，bn 所组成的 n 1 维向量； 所组成的N维噪声， 即 a
1
，y n N 1 所组成的 N n 阵块；U Y为输入值 y 1，y 2 ， ，u n N 所组成的 N n 1 矩阵块。即 入值 u 1，u 2 ，
y n 1 y n y n 1 y n Y U y n N 1 y n N 2 y 1 y N u n 1 u n N u 1 u n 1 u 2 u n N 1 u N u n
因输出值 y是随机的，所以ˆ 是随机的，但要注意到 不是随机 的。如果
ˆ E E
则称 ˆ是 的无偏估计。 如果式(14-6)中的 k 是不相关随机序列，且其均值为零（ 实际上 k 往往得相关随杨序列，对这种情况，以后专门讨论。 并假设序列 k 与n k 不相关。当 k 为不相关随机序列时， y k 只与 k 及其以前的 k 1， k 2 ， ， 有关，而与 k 1 及其 ， 以后的 k＋2 ， k＋3， 等无关。从 T 的展开式可看出， 与 不相关。
即
1y
(14-10)
如果测量误差不等于零，则
1y 1
(14-11)
从上式可看出，随机测量噪声 对参数 的估计值有影响，为了 尽量减小 对 的估值的影响，应该取N 2n 1 ，即方程数目大于 未知数数目。在这种情况下，不能用解方程的方法求 ，而要采用 数理统计的方法求 的估值。这样可减小 对 的估值的影响。这 种给定测量向量 y 和测量矩阵 求参数 估值的问题，就是系统参 数的辨识问题。可用最小二乘法或极大似然法求 的估值。 这里先讨论最小二乘法辨识问题。
第十四章
最小二乘法辨识
差分方程模型辨识问题包括模型阶的确定和参数估计两个 方面。本章只讨论单输入－单输出系统在模型结构已知情 况下的最小二乘法参数估计问题，例如水箱液面的控制系
统。
这里对各种估计方法都按离线辨识和在线辨识两种情况进 行讨论。离散辨识是把观测数据集中起来同时处理，得到
参数估值。而在线辨识是在辨识过程中按递推计算方法不