最小二乘参数辨识方法及原理(201210版)

y(k ) ai y (k i) bi u (k i)
i 1 i 1
n
n
2.2 一般最小二乘法原理及算法
v(k )
u (k ) G (z ) y (k ) z (k )
图 SISO 系统的“灰箱”结构
若考虑被辨识系统或观测信息中含有噪声
z (k ) ai y(k i) bi u (k i) v(k )
和最小，即
ˆ ˆ ˆ J ( ) (Z m H m )T (Z m H m ) min
J ˆ 2 H ( Z m H m ) 0
T m
ˆ
ˆ HTZ H H m m m
T m
2.2 一般最小二乘法原理及算法
T 如果 H m 的行数大于等于列数，即 m 2 n ， H m H m 满秩，即 T T rank(H m H m ) 2n ，则 ( H m H m ) 1 存在。则 的最小二乘估计为
m次独立试验的数据
f (t )
(t1 , z1 ) (t2 , z2 )
t
(tm , zm )
z(k ) a0 a1h1 (k ) a2h2 (k ) an hn (k ) v(k )
•1795年，高斯提出了最小二乘方法。
1、问题的提出
1795年，高斯提出的最小二乘的基本原理是 未知量的最可能值是使各项实 际观测值和计算值之间差的平方乘
本章的学习目的
1、掌握最小二乘参数辨识方法的基本原理
2、掌握常用的最小二乘辨识方法 3、熟练应用最小二乘参数辨识方法进行模型参数辨识 4、能够编程实现最小二乘参数辨识
1、问题的提出
例：表中是在不同温度下测量同一热敏电阻的阻值，根据 测量值确定该电阻的数学模型。
热敏电阻的测量值
t (C ) R ()
如果要你推测， 是谁打中的呢？ 你会如何想呢?
1、问题的提出
一般人会想，只发一枪便打中,猎人命中的概率一般
大于该同学命中的概率. 看来这一枪是猎人射中的.
该例子所作的推断已体现了极大似然法的基本思想.
辨识准则：以观测值的出现概率最大为准则。 思路：设一随机试验已知有若干个结果Ａ,Ｂ,Ｃ,…，如果在一
t
是有益的。
2.2 一般最小二乘法原理及算法
最小二乘法的几何解释
z (1) z (2) Zm z ( m)
Z m H m Vm
y(1 n) u (0) y(2 n) u (1) y(m n) u (m 1) u (1 n) u ( 2 n) u ( m n)
i 1 i 1 n n
如果定义
h(k ) [ y(k 1), y(k 2),, y(k n),u(k 1),u(k 2),, u(k n)]
[a1 , a2 ,, an , b1 , b2 ,, bn ]
T
z (k ) h(k ) v(k )
T
a1 an b1 bn
T
Vm v(1) v(2) v(m)
Z m H m Vm
2.2 一般最小二乘法原理及算法
最小二乘的思想就是寻找一个 的估计值 ˆ ，使得各次测量
ˆ ˆ 的 Z i (i 1,m) 与由估计 ˆ 确定的量测估计 Z i H i 之差的平方
t (k )
G (k )
y (k )
m次独立试验的数据
(t1 , z1 )
v(k )
t (k )
G (k )
y (k )
z (k )
(t2 , z2 ) (tm , zm )
z ( k ) y ( k ) v( k )
1、问题的提出
z
v(k )
t (k )
G (k )
y (k )
z (k )
2.2 一般最小二乘法原理及算法
Z m H m Vm
ˆ (H H m ) H Z m
T m 1 T m
z
最小二乘估计虽然不能满 足式 Z m H m Vm 中的每一个 方程，使每个方程都有偏差，但 它使所有方程偏差的平方和达 到最小，兼顾了所有方程的近似
f (t )
程度，使整体误差达到最小，这 对抑制测量误差 v(i)(i 1,, m)
N N
N N N N Ri t i2 Ri t i t i i 1 i 1 i 1 a i 1 ˆ 2 N N 2 N ti ti i 1 i 1 N N N N Ri t i Ri t i i 1 i 1 b i 1 ˆ 2 N N 2 N ti ti i 1 i 1
2.1 利用最小二乘法求模型参数
例：表 1 中是在不同温度下测量同一热敏电阻的阻值，根 据测量值确定该电阻的数学模型， 并求出当温度在 70 C 时
的电阻值。
表 1 热敏电阻的测量值
t (C ) R ()
20.5 765
26 790
32.7 826
40 850
51 873
61 910
73 942
ˆ (H T H ) 1 H T Z m m m m
最小二乘估计虽然不能满足式 Zm H m Vm 中的每一个方 程，使每个方程都有偏差，但它使所有方程偏差的平方和达到最 小，兼顾了所有方程的近似程度，使整体误差达到最小，这对抑 制测量误差 v(i)(i 1,, m) 是有益的。
t 70 C
2.2 一般最小二乘法原理及算法
v(k )
u (k ) G (k ) y (k ) z (k )
图 3.4 SISO 系统的“灰箱”结构
b1 z 1 b2 z 2 bn z n y( z ) G( z ) u( z ) 1 a1 z 1 a2 z 2 an z n
R a bt v
a, b
1、问题的提出
辨识目的：根据过程所提供的测量信息，在某种准则意 义下，估计模型的未知参数。 Input
Process 目 的
Output
工程实践
模型结构
模型确定
模型校验
参数辨识
1、问题的提出 例子：
某位同学与一位猎人一起外出打 猎 .一只野兔从前方窜过 .
只听一声枪响，野兔应声倒下 .
次试验中Ａ发生了，则可认为当时的条件最有利于Ａ发生，故
应如此选择分布的参数，使发生Ａ的概率最大 。
Input
Process
Output
1、问题的提出
Input
Process
Output
极大似然：构造一个以数据和未知参数为自变量的似然函数。
J max P(Z | )
要求：? 缺点：?
1、问题的提出
80 980
88 1010
95.7 1032
表 1 热敏电阻的测量值
t (C ) R ()
20.5 765
26 790
32.7 826
40 850
51 873
61 910
73 942
80 980
88 1010
95.7 1032
R a bt
N ˆ N N 2 N a Ri t R 702 i.762 i t i t i i 1 i 1 a i 1 i 1 ˆ 2 N N ˆ N t i2 t i b 3.4344 i 1 i 1 N N N N Ri t i Ri t i i 1 i 1 b i 1 ˆ R 943 .1682 N N 2 N ti ti i 1 i 1

t N 1 RN 1
tN
RN
R a bt
• 当测量没有任何误差时，仅需2个测量值。 • 每次测量总是存在随机误差。
yi Ri vi 或 yi a bt vi
vi yi Ri或vi＝yi a bti
2.1 利用最小二乘法求模型参数
根据最小二乘的准则有
系统辨识
第3章 最小二乘参数辨识方法
主讲教师：赵 龙 办公地点：新主楼E402 网 站：dnc.buaa.edu.cn
Email：flylong@buaa.edu.cn
本章内容
1、最小二乘辨识的基本概念
2、一般最小二乘辨识方法
3、加权最小二乘辨识方法
4、递推最小二乘参数辨识方法
5、处理有色噪声的最小二乘法 6、多变量最小二乘辨识方法
式中 为待估参数。
2.2 一般最小二乘法原理及算法
v(k )
z (k ) h(k ) v(k )
令 k 1,2,, m ，则有
z (1) h(1) y(0) z (2) h(2) y(1) Zm Hm z ( m) h(m) y(m 1)
20 765
32 826
51 873
73 942
88 1010
95 1032
R a btHale Waihona Puke Baidu v
1、问题的提出
辨识目的：根据过程所提供的测量信息，在某种准则意 义下，估计模型的未知参数。 Input
t(℃) 20 32 51 73 88 95
Process
Output
R(Ω) 765 826 873 942 1010 1032
N J 2 ( Ri a bti ) 0 a i 1 ˆ a a N J 2 ( Ri a bti )t i 0 b bbˆ i 1
ˆ ˆ Na b t i Ri i 1 i 1 N N N ˆ a t i b t i2 Ri t i ˆ i 1 i 1 i 1
u (k )
G (z )
y (k )
z (k )
图 SISO 系统的“灰箱”结构
y(1 n) u (0) y(2 n) u (1) y(m n) u (m 1)
u (1 n) u ( 2 n) u ( m n)
J min vi2 [ Ri (a bti )]2
i 1 i 1 N N
根据求极值的方法，对上式求导
N J 2 ( Ri a bti ) 0 a i 1 ˆ a a N J 2 ( Ri a bti )t i 0 b bbˆ i 1
Input
Process
Output
极大似然：构造一个以数据和未知参数为自变量的似然函数。
J max P(Z | )
要求：独立观测条件下，知道输出量的概率分布 缺点：输出量概率密度分布未知，极大似然无法工作 计算量大，得不到解析解
1、问题的提出
y(t ) a0 a1h1 (t ) a2h2 (t ) an hn (t )
以其精确度的数值以后的和为最小。
z ( k ) y ( k ) v( k )
使
w(k ) | z (k ) y(k ) |2 最小
k 1 m
Gauss（1777-1855）
1、问题的提出
1795年，高斯提出的最小二乘的基本原理是 未知量的最可能值是使各项实 际观测值和计算值之间差的平方乘
i 1 i 1
n
n
z (k ) 为系统输出量的第 k 次观测值; y(k ) 为系统输出量的第 k 次真值; u (k ) 为系统的第 k 个输入值;
v(k ) 是均值为 0 的随机噪声。
2.2 一般最小二乘法原理及算法
z (k ) ai y(k i ) bi u (k i) v(k )
以其精确度的数值以后的和为最小。
z ( k ) y ( k ) v( k )
使
w(k ) | z (k ) y(k ) |2 最小
k 1 m
Gauss（1777-1855）
2、最小二乘辨识方法的基本概念
通过试验确定热敏电阻阻值和温度间的关系
t (C ) R ()
t1 R1
t2 R2