现代控制理论-第14章-最小二乘法辨识
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
尽量减小 对 的估值的影响，应该取N2n1，即方程数目大于
未知数数目。在这种情况下，不能用解方程的方法求 ，而要采用 数理统计的方法求 的估值。这样可减小 对 的估值的影响。这 种给定测量向量y 和测量矩阵 求参数 估值的问题，就是系统参 数的辨识问题。可用最小二乘法或极大似然法求 的估值。
这里先讨论最小二乘法辨识问题。
yn yn 1
Y U yn 1
yn
ynN 1 ynN 2
y1 un 1 un y2 un 1 un 1
yN unN unN 1
u1 u2
uN
(14-8)
式(14-7)也可写成
y
(14-9)
2021/2/11
8
式中
a
Y U
，
b
为N2n1维测量矩阵， 为2n1维参数向量。因此，式(14-9)
i0
(14-5)
n
n
yk a iyk i b iuk i (k)
i 1
i 0
(14-6)
如果u k 也有测量误差，则在 k 中应包含这一测量误差。
2021/2/11
5
现在分别测出个 nN 输出值和输入值：y 1 ， y 2 ， ， y n N 及 u 1 ， u 2 ， ， u n N 。则可写出N个方程：
JeTey ˆTy ˆ
(14-17)
为最小确定估值 ˆ。
2021/2/11
13
可按
J ˆ
0
来求
的最小二乘法估计值 ˆ 。
Jˆ2T yˆ 0
即
TˆTy
由此式用 T 1左乘等号的两边，得
ˆT1Ty
2021/2/11
(14-18)
14
J为极小值的充分条件是
2J
ˆ2
T 0
(14-19)
第十四章 最小二乘法辨识
差分方程模型辨识问题包括模型阶的确定和参数估计两个 方面。本章只讨论单输入－单输出系统在模型结构已知情 况下的最小二乘法参数估计问题,例如水箱液面的控制系统。
2021/2/11
1
这里对各种估计方法都按离线辨识和在线辨识两种情况进 行讨论。离散辨识是把观测数据集中起来同时处理,得到 参数估值。而在线辨识是在辨识过程中按递推计算方法不 断地给出参数估计。这些估计方法都可推广到多输入－多 输出系统的参数估计问题,例如导弹稳定系统控制。
2021/2/11
10
设 ˆ 表示 的最优估值，yˆ 表示y 的最优估值，则有
yˆ ˆ
式中
yˆ n 1
yˆ
yˆ
n
2
,
aˆ
ˆ
yˆ
n
N
bˆ
(14-12)
写出式(14-12)的某一行，得
n
n
y ˆ k a iy k i b i u k i
i 1
i 0
2021/2/11
即
n
n
n
y k a iy k i b iu k i v k a iv k i (14-3)
i 1
i 0
i 1
2021/2/11
4
假设vkk 1 ,2 , ,n是均值为零的独立分布的平稳随机序列，且与 序列ukk 1 ,2 , ,n相互独立。设
则式(14-4)变成
n
kvkaivki
2021/2/11
2
第一节 最小二乘法辨识与递推最小二乘法辨识
一个单输入－单输出线性定常系统可用图14-1表示。系统的差 分方程为
x k a 1 x k 1 a 2 x k 2 a n x k n b 0 u k 1 b 1 u k 2 b n u k n k 1 ,2 , (14-1)
n百度文库
n
yn1 ai yn1ibiun1in1
i1
i0
n
n
yn2 ai yn2ibiun2in2
i1
i0
n
n
ynN ai ynNibiunNinN
i1
i0
2021/2/11
6
上述N个方程可写成下列向量－矩阵形式
a
y Y
U
b
(14-7)
式中y 为N个输出值组成的向量；a为 a1， a2， ， an所组成的维向量
显然，当矩阵 T 1存在时，式(14-18)才有解。一般说来，如果
u k 是随机序列或伪随机二位式序列，则矩阵
，即 T 1存在，式(14-18)有解。
式中u k 为输入信号，x k 为理论上的输出值。u k 通过观测得
到，在观测过程中往往附加有随机干扰。
2021/2/11
3
观测值 y k 用下式表示：
ykxk vk v k 为随机干扰。由上式得
(14-2)
xkyk vk
(14-3)
把式 (14-3)代入式(14-1)，得
yka1yk1a2yk2 anykn b0ukb1uk1 bnukn vka1vk1a2vk2 anvkn
，b为 b0， b1，， bn所组成的n 1 维向量；为 n 1 ， n 2 ， ， n N
所组成的N维噪声， 即
a1
y n 1
n 1
y
y
n
2
,
a
an
，
n
2
y
n
N
b
b0
n N
bn
2021/2/11
7
Y 为输入值 y 1 ， y 2 ， ， y n N 1 所组成的 N n 阵块；U 为输 入值 u 1 ， u 2 ， ， u n N 所组成的 Nn1矩阵块。即
k n 1 ， n 2 ， ， n N
(14-13)
11
设e k 表示y k 与yˆ k 之差，通常称它为残差。
ekyky ˆkyk i n1aiyki i n0biuki
kn1 ， n2， ， nN
(14-14)
由式(14-14)得
n
n
yk a iyk i b iu k i ek
i 1
i 0
(14-15)
2021/2/11
12
把k n 1 ， n 2 ， ， n N 分别代入式(14-14)，可得残差 en1， e n 2 ， ， e n N 把这些残差写成向量形式：
en 1
e
e
n
2
y
yˆ
e
n
N
(14-16)
最小二乘法估计要求残差的平方和为最小，即按照指标函数
是一个含有2n 1个未知参数的N个方程组成的联立方程组。如果 N2n1，则方程组是不定的，不能唯一地确定参数向量。如 果 N＝ 2n1，则当测量误差 0 时，就能准确地解出参数向量， 即
1y
如果测量误差不等于零，则
(14-10)
1y1
(14-11)
2021/2/11
9
从上式可看出，随机测量噪声 对参数 的估计值有影响，为了
未知数数目。在这种情况下，不能用解方程的方法求 ，而要采用 数理统计的方法求 的估值。这样可减小 对 的估值的影响。这 种给定测量向量y 和测量矩阵 求参数 估值的问题，就是系统参 数的辨识问题。可用最小二乘法或极大似然法求 的估值。
这里先讨论最小二乘法辨识问题。
yn yn 1
Y U yn 1
yn
ynN 1 ynN 2
y1 un 1 un y2 un 1 un 1
yN unN unN 1
u1 u2
uN
(14-8)
式(14-7)也可写成
y
(14-9)
2021/2/11
8
式中
a
Y U
，
b
为N2n1维测量矩阵， 为2n1维参数向量。因此，式(14-9)
i0
(14-5)
n
n
yk a iyk i b iuk i (k)
i 1
i 0
(14-6)
如果u k 也有测量误差，则在 k 中应包含这一测量误差。
2021/2/11
5
现在分别测出个 nN 输出值和输入值：y 1 ， y 2 ， ， y n N 及 u 1 ， u 2 ， ， u n N 。则可写出N个方程：
JeTey ˆTy ˆ
(14-17)
为最小确定估值 ˆ。
2021/2/11
13
可按
J ˆ
0
来求
的最小二乘法估计值 ˆ 。
Jˆ2T yˆ 0
即
TˆTy
由此式用 T 1左乘等号的两边，得
ˆT1Ty
2021/2/11
(14-18)
14
J为极小值的充分条件是
2J
ˆ2
T 0
(14-19)
第十四章 最小二乘法辨识
差分方程模型辨识问题包括模型阶的确定和参数估计两个 方面。本章只讨论单输入－单输出系统在模型结构已知情 况下的最小二乘法参数估计问题,例如水箱液面的控制系统。
2021/2/11
1
这里对各种估计方法都按离线辨识和在线辨识两种情况进 行讨论。离散辨识是把观测数据集中起来同时处理,得到 参数估值。而在线辨识是在辨识过程中按递推计算方法不 断地给出参数估计。这些估计方法都可推广到多输入－多 输出系统的参数估计问题,例如导弹稳定系统控制。
2021/2/11
10
设 ˆ 表示 的最优估值，yˆ 表示y 的最优估值，则有
yˆ ˆ
式中
yˆ n 1
yˆ
yˆ
n
2
,
aˆ
ˆ
yˆ
n
N
bˆ
(14-12)
写出式(14-12)的某一行，得
n
n
y ˆ k a iy k i b i u k i
i 1
i 0
2021/2/11
即
n
n
n
y k a iy k i b iu k i v k a iv k i (14-3)
i 1
i 0
i 1
2021/2/11
4
假设vkk 1 ,2 , ,n是均值为零的独立分布的平稳随机序列，且与 序列ukk 1 ,2 , ,n相互独立。设
则式(14-4)变成
n
kvkaivki
2021/2/11
2
第一节 最小二乘法辨识与递推最小二乘法辨识
一个单输入－单输出线性定常系统可用图14-1表示。系统的差 分方程为
x k a 1 x k 1 a 2 x k 2 a n x k n b 0 u k 1 b 1 u k 2 b n u k n k 1 ,2 , (14-1)
n百度文库
n
yn1 ai yn1ibiun1in1
i1
i0
n
n
yn2 ai yn2ibiun2in2
i1
i0
n
n
ynN ai ynNibiunNinN
i1
i0
2021/2/11
6
上述N个方程可写成下列向量－矩阵形式
a
y Y
U
b
(14-7)
式中y 为N个输出值组成的向量；a为 a1， a2， ， an所组成的维向量
显然，当矩阵 T 1存在时，式(14-18)才有解。一般说来，如果
u k 是随机序列或伪随机二位式序列，则矩阵
，即 T 1存在，式(14-18)有解。
式中u k 为输入信号，x k 为理论上的输出值。u k 通过观测得
到，在观测过程中往往附加有随机干扰。
2021/2/11
3
观测值 y k 用下式表示：
ykxk vk v k 为随机干扰。由上式得
(14-2)
xkyk vk
(14-3)
把式 (14-3)代入式(14-1)，得
yka1yk1a2yk2 anykn b0ukb1uk1 bnukn vka1vk1a2vk2 anvkn
，b为 b0， b1，， bn所组成的n 1 维向量；为 n 1 ， n 2 ， ， n N
所组成的N维噪声， 即
a1
y n 1
n 1
y
y
n
2
,
a
an
，
n
2
y
n
N
b
b0
n N
bn
2021/2/11
7
Y 为输入值 y 1 ， y 2 ， ， y n N 1 所组成的 N n 阵块；U 为输 入值 u 1 ， u 2 ， ， u n N 所组成的 Nn1矩阵块。即
k n 1 ， n 2 ， ， n N
(14-13)
11
设e k 表示y k 与yˆ k 之差，通常称它为残差。
ekyky ˆkyk i n1aiyki i n0biuki
kn1 ， n2， ， nN
(14-14)
由式(14-14)得
n
n
yk a iyk i b iu k i ek
i 1
i 0
(14-15)
2021/2/11
12
把k n 1 ， n 2 ， ， n N 分别代入式(14-14)，可得残差 en1， e n 2 ， ， e n N 把这些残差写成向量形式：
en 1
e
e
n
2
y
yˆ
e
n
N
(14-16)
最小二乘法估计要求残差的平方和为最小，即按照指标函数
是一个含有2n 1个未知参数的N个方程组成的联立方程组。如果 N2n1，则方程组是不定的，不能唯一地确定参数向量。如 果 N＝ 2n1，则当测量误差 0 时，就能准确地解出参数向量， 即
1y
如果测量误差不等于零，则
(14-10)
1y1
(14-11)
2021/2/11
9
从上式可看出，随机测量噪声 对参数 的估计值有影响，为了