最小二乘参数辨识方法及原理
合集下载
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
N N
N N N N 2 R t i i Ri t i t i i 1 i 1 a ˆ i 1 i 1 2 N N 2 N ti ti i 1 i 1 N N N N Ri t i Ri t i i 1 i 1 b ˆ i 1 2 N N 2 N ti ti i 1 i 1
vi yi Ri或vi＝yi a bti
2.1 利用最小二乘法求模型参数
根据最小二乘的准则有
J min vi2 [ Ri (a bti )]2
i 1 i 1 N N
根据求极值的方法，对上式求导
N J 2 ( Ri a bti ) 0 a a a i 1 ˆ N J 2 ( Ri a bti )t i 0 i 1 b bbˆ
i 1,2,, N
1、问题的提出
y(t ) a0 a1h1 (t ) a2h2 (t ) an hn (t )
t (k )
G (k )
y (k )
m次独立试验的数据
(t1 , y1 )
v(k )
t (k )
G (k )
y (k )
z (k )
(t2 , y2 ) (tm , ym )
i 1 i 1 n n
如果定义
h(k ) [ y(k 1), y(k 2),, y(k n),u(k 1),u(k 2),, u(k n)]
[a1 , a2 ,, an , b1 , b2 ,, bn ]
T
z (k ) h(k ) v(k )
u m11 Z c v m21 1 m31 m12 m22 m32
u0 v0 1
0 R 0 T 0 0
Xw t Yw Z 1 w 1
m13 m23 m33
m14 X w m24 Yw m34 Zw
u (k )
' ' 式中， X ( x, y) = [1, f c x, y , f cx ( x, y) , f cx ( x, y) x , y ,
' ' ' f cy ( x, y) , f cy ( x, y) x , f cy ( x, y) y ] T ；
Y ( x, y ) ＝ f r ( x, y) f c ( x, y) ；
1、问题的提出——景像匹配
x2 a0 a1 x a 2 y y 2 b0 b1 x b2 y
f r x, y h0 h1 f c a0 a1 x a2 y, b0 b1 x b2 y nx, y
1、问题的提出——景像匹配
Y ( x, y) X T ( x, y)W v( x, y)
•1795年，高斯提出了最小二乘方法。
1、问题的提出
1795年，高斯提出的最小二乘的基本原理是 未知量的最可能值是使各项实 际观测值和计算值之间差的平方乘
以其精确度的数值以后的和为最小。
z ( k ) y ( k ) v( k )
使
2 w ( k ) | z ( k ) y ( k ) | 最小 k 1 m
y(k ) ai y (k i) bi u (k i)
i 1 i 1
n
n
2.2 一般最小二乘法原理及算法
v(k )
u (k ) G( z) y (k ) z (k )
图 SISO 系统的“灰箱”结构
若考虑被辨识系统或观测信息中含有噪声
z (k ) ai y(k i) bi u (k i) v(k )
2.1 利用最小二乘法求模型参数
例：表 1 中是在不同温度下测量同一热敏电阻的阻值，根 据测量值确定该电阻的数学模型， 并求出当温度在 70 C 时
的电阻值。
表 1 热敏电阻的测量值
t (C ) R ()
20.5 765
26 790
32.7 826
40 850
51 873
61 910
73 942
零偏 标度因数 输出轴灵敏 度误差系数 二阶非线性 误差系数 摆轴灵敏度 误差系数
1、问题的提出——惯性器件标定
y K F K I aI KO aO K P aP K IO aI aO KOP aO aP
2 2 KPI aP aI KII aI2 KOO aO KPPaP
t 70 C
2.2 一般最小二乘法原理及算法
v(k )
u (k ) G (k ) y (k ) z (k )
图 3.4 SISO 系统的“灰箱”结构
b1 z 1 b2 z 2 bn z n y( z ) G( z ) u( z ) 1 a1 z 1 a2 z 2 an z n
N J 2 ( Ri a bti ) 0 a a a i 1 ˆ N J 2 ( Ri a bti )t i 0 i 1 b bbˆ
ˆ t ˆ N a b Ri i i 1 i 1 N N N 2 ˆ a ˆ t i b t i Ri t i i 1 i 1 i 1
KSI aS aI KII a K a KSS a
2 I 2 OO O 2 S
y K F K I aI KO aO K P aP K IO aI aO KOP aO aP
KPI aP aI KII a KOO a KPPa
2 I 2 O 2 P
系统辨识
第4章 最小二乘参数辨识方法
本章内容
1、最小二乘辨识的基本概念
2、一般最小二乘辨识方法
3、加权最小二乘辨识方法
4、递推最小二乘参数辨识方法
5、增广最小二乘辨识方法 6、多变量最小二乘辨识方法
本章的学习目的
1、掌握最小二乘参数辨识方法的基本原理
2、掌握常用的最小二乘辨识方法 3、熟练应用最小二乘参数辨识方法进行模型参数辨识 4、能够编程实现最小二乘参数辨识
1、问题的提出
例：表中是在不同温度下测量同一热敏电阻的阻值，根据 测量值确定该电阻的数学模型。
热敏电阻的测量值
t (C ) R ()
20 765
32 826
51 873
73 942
88 1010
95 1032
1、问题的提出
辨识目的：根据过程所提供的测量信息，在某种准则意 义下，估计模型的未知参数。 Input
1、问题的提出——惯性器件标定
y
y1 x1
v v0 a (t )dt
0
t
运动 轨迹 0 加速度计 x
X X 0 v(t )dt
0
t
a
∫
V
∫
Z
X
陀螺仪
∫
, ,
X
Y
1、问题的提出——惯性器件标定
加速度计
陀螺仪
1、问题的提出——惯性器件标定
Kd K I aI KOaO KS aS K IOaI aO KOS aO aS
式中 为待估参数。
2.2 一般最小二乘法原理及算法
v(k )
z (k ) h(k ) v(k )
令 k 1,2,, m ，则有
z (1) h(1) y(0) z (2) h(2) y(1) Zm Hm z ( m) h(m) y(m 1)
1、问题的提出——摄像机标定
m11 X wi m12Ywi m13 Z wi m14 ui m31 X wi ui m32Ywi ui m33 Z wi ui m34
m21 X wi m22Ywi m23 Z wi m24 vi m31 X wi vi m32Ywi vi m33 Z wi vi m34
i 1 i 1
n
n
z (k ) 为系统输出量的第 k 次观测值; y(k ) 为系统输出量的第 k 次真值; u (k ) 为系统的第 k 个输入值;
v(k ) 是均值为 0 的随机噪声。
2.2 一般最小二乘法原理及算法
z (k ) ai y(k i ) bi u (k i) v(k )
z ( k ) y ( k ) v( k )
z
1、问题的提出
v(k )
t (k )
G (k )
y (k )
z (k )
m次独立试验的数据
f (t )
(t1 , y1 ) (t2 , y2 )
t
(tm , ym )
z(k ) a0 a1h1 (k ) a2h2 (k ) an hn (k ) v(k )
Gauss（1777-1855）
1、问题的提出
1795年，高斯提出的最小二乘的基本原理是 未知量的最可能值是使各项实 际观测值和计算值之间差的平方乘
以其精确度的数值以后的和为最小。
z ( k ) y ( k ) v( k )
使
2 w ( k ) | z ( k ) y ( k ) | 最小 k 1 m
1、问题的提出——摄像机标定
1、问题的提出——摄像机标定
X M ( X c , Yc , Zc )
m
摄 像O 机 坐 标 系
Z
Y
S
y f
f x Xc Zc
f y Yc Zc
o
y0
p x0
x
1、问题的提出——摄像机标定
u x 0 Zc v 0 y 1 0 0
80 980
88 1010
95.7 1032
表 1 热敏电阻的测量值
t (C ) R ()
20.5 765
26 790
32.7 826
40 850
51 873
61 910
73 942
80 980
88 1010
95.7 1032
R a bt
N ˆ N N 2 N a 702 Ri t i.762 Ri t i t i i 1 i 1 a ˆ i 1 i 1 2 N N ˆ 2 N t t b 3. 4344 i i i 1 i 1 N N N N Ri t i Ri t i i 1 i 1 b ˆ i 1 R 943 N .168 N 2 N t i2 t i i 1 i 1
Process 目 的
Output
工程实践
模型结构
模型确定
模型校验
参数辨识
1、问题的提出
Input
Process
Output
极大似然：构造一个以数据和未知参数为自变量的似然函数。
Leabharlann Baidu
J max P(Z | )
要求：独立观测条件下，知道输出量的概率分布 缺点：输出量概率密度分布未知，极大似然无法工作 计算量大，得不到解析解
W ＝[ dh0 , da0 , da1 , da2 , db0 , db1 , db2 ] T ；
v( x, y ) 为量测噪声。
dh0 = h0 0 ， dh1 = h1 1 ， da0 = a0 0 ， da1 = a1 1 ， da2 = a2 0 ， db0 = b0 0 ， db1 = b1 0 ， db2 = b2 1
Gauss（1777-1855）
2、最小二乘辨识方法的基本概念
通过试验确定热敏电阻阻值和温度间的关系
t (C ) R ()
t1 R1
t2 R2
t N 1 RN 1
tN
RN
R a bt
• 当测量没有任何误差时，仅需2个测量值。 • 每次测量总是存在随机误差。
yi Ri vi 或 yi a bt vi
N N N N 2 R t i i Ri t i t i i 1 i 1 a ˆ i 1 i 1 2 N N 2 N ti ti i 1 i 1 N N N N Ri t i Ri t i i 1 i 1 b ˆ i 1 2 N N 2 N ti ti i 1 i 1
vi yi Ri或vi＝yi a bti
2.1 利用最小二乘法求模型参数
根据最小二乘的准则有
J min vi2 [ Ri (a bti )]2
i 1 i 1 N N
根据求极值的方法，对上式求导
N J 2 ( Ri a bti ) 0 a a a i 1 ˆ N J 2 ( Ri a bti )t i 0 i 1 b bbˆ
i 1,2,, N
1、问题的提出
y(t ) a0 a1h1 (t ) a2h2 (t ) an hn (t )
t (k )
G (k )
y (k )
m次独立试验的数据
(t1 , y1 )
v(k )
t (k )
G (k )
y (k )
z (k )
(t2 , y2 ) (tm , ym )
i 1 i 1 n n
如果定义
h(k ) [ y(k 1), y(k 2),, y(k n),u(k 1),u(k 2),, u(k n)]
[a1 , a2 ,, an , b1 , b2 ,, bn ]
T
z (k ) h(k ) v(k )
u m11 Z c v m21 1 m31 m12 m22 m32
u0 v0 1
0 R 0 T 0 0
Xw t Yw Z 1 w 1
m13 m23 m33
m14 X w m24 Yw m34 Zw
u (k )
' ' 式中， X ( x, y) = [1, f c x, y , f cx ( x, y) , f cx ( x, y) x , y ,
' ' ' f cy ( x, y) , f cy ( x, y) x , f cy ( x, y) y ] T ；
Y ( x, y ) ＝ f r ( x, y) f c ( x, y) ；
1、问题的提出——景像匹配
x2 a0 a1 x a 2 y y 2 b0 b1 x b2 y
f r x, y h0 h1 f c a0 a1 x a2 y, b0 b1 x b2 y nx, y
1、问题的提出——景像匹配
Y ( x, y) X T ( x, y)W v( x, y)
•1795年，高斯提出了最小二乘方法。
1、问题的提出
1795年，高斯提出的最小二乘的基本原理是 未知量的最可能值是使各项实 际观测值和计算值之间差的平方乘
以其精确度的数值以后的和为最小。
z ( k ) y ( k ) v( k )
使
2 w ( k ) | z ( k ) y ( k ) | 最小 k 1 m
y(k ) ai y (k i) bi u (k i)
i 1 i 1
n
n
2.2 一般最小二乘法原理及算法
v(k )
u (k ) G( z) y (k ) z (k )
图 SISO 系统的“灰箱”结构
若考虑被辨识系统或观测信息中含有噪声
z (k ) ai y(k i) bi u (k i) v(k )
2.1 利用最小二乘法求模型参数
例：表 1 中是在不同温度下测量同一热敏电阻的阻值，根 据测量值确定该电阻的数学模型， 并求出当温度在 70 C 时
的电阻值。
表 1 热敏电阻的测量值
t (C ) R ()
20.5 765
26 790
32.7 826
40 850
51 873
61 910
73 942
零偏 标度因数 输出轴灵敏 度误差系数 二阶非线性 误差系数 摆轴灵敏度 误差系数
1、问题的提出——惯性器件标定
y K F K I aI KO aO K P aP K IO aI aO KOP aO aP
2 2 KPI aP aI KII aI2 KOO aO KPPaP
t 70 C
2.2 一般最小二乘法原理及算法
v(k )
u (k ) G (k ) y (k ) z (k )
图 3.4 SISO 系统的“灰箱”结构
b1 z 1 b2 z 2 bn z n y( z ) G( z ) u( z ) 1 a1 z 1 a2 z 2 an z n
N J 2 ( Ri a bti ) 0 a a a i 1 ˆ N J 2 ( Ri a bti )t i 0 i 1 b bbˆ
ˆ t ˆ N a b Ri i i 1 i 1 N N N 2 ˆ a ˆ t i b t i Ri t i i 1 i 1 i 1
KSI aS aI KII a K a KSS a
2 I 2 OO O 2 S
y K F K I aI KO aO K P aP K IO aI aO KOP aO aP
KPI aP aI KII a KOO a KPPa
2 I 2 O 2 P
系统辨识
第4章 最小二乘参数辨识方法
本章内容
1、最小二乘辨识的基本概念
2、一般最小二乘辨识方法
3、加权最小二乘辨识方法
4、递推最小二乘参数辨识方法
5、增广最小二乘辨识方法 6、多变量最小二乘辨识方法
本章的学习目的
1、掌握最小二乘参数辨识方法的基本原理
2、掌握常用的最小二乘辨识方法 3、熟练应用最小二乘参数辨识方法进行模型参数辨识 4、能够编程实现最小二乘参数辨识
1、问题的提出
例：表中是在不同温度下测量同一热敏电阻的阻值，根据 测量值确定该电阻的数学模型。
热敏电阻的测量值
t (C ) R ()
20 765
32 826
51 873
73 942
88 1010
95 1032
1、问题的提出
辨识目的：根据过程所提供的测量信息，在某种准则意 义下，估计模型的未知参数。 Input
1、问题的提出——惯性器件标定
y
y1 x1
v v0 a (t )dt
0
t
运动 轨迹 0 加速度计 x
X X 0 v(t )dt
0
t
a
∫
V
∫
Z
X
陀螺仪
∫
, ,
X
Y
1、问题的提出——惯性器件标定
加速度计
陀螺仪
1、问题的提出——惯性器件标定
Kd K I aI KOaO KS aS K IOaI aO KOS aO aS
式中 为待估参数。
2.2 一般最小二乘法原理及算法
v(k )
z (k ) h(k ) v(k )
令 k 1,2,, m ，则有
z (1) h(1) y(0) z (2) h(2) y(1) Zm Hm z ( m) h(m) y(m 1)
1、问题的提出——摄像机标定
m11 X wi m12Ywi m13 Z wi m14 ui m31 X wi ui m32Ywi ui m33 Z wi ui m34
m21 X wi m22Ywi m23 Z wi m24 vi m31 X wi vi m32Ywi vi m33 Z wi vi m34
i 1 i 1
n
n
z (k ) 为系统输出量的第 k 次观测值; y(k ) 为系统输出量的第 k 次真值; u (k ) 为系统的第 k 个输入值;
v(k ) 是均值为 0 的随机噪声。
2.2 一般最小二乘法原理及算法
z (k ) ai y(k i ) bi u (k i) v(k )
z ( k ) y ( k ) v( k )
z
1、问题的提出
v(k )
t (k )
G (k )
y (k )
z (k )
m次独立试验的数据
f (t )
(t1 , y1 ) (t2 , y2 )
t
(tm , ym )
z(k ) a0 a1h1 (k ) a2h2 (k ) an hn (k ) v(k )
Gauss（1777-1855）
1、问题的提出
1795年，高斯提出的最小二乘的基本原理是 未知量的最可能值是使各项实 际观测值和计算值之间差的平方乘
以其精确度的数值以后的和为最小。
z ( k ) y ( k ) v( k )
使
2 w ( k ) | z ( k ) y ( k ) | 最小 k 1 m
1、问题的提出——摄像机标定
1、问题的提出——摄像机标定
X M ( X c , Yc , Zc )
m
摄 像O 机 坐 标 系
Z
Y
S
y f
f x Xc Zc
f y Yc Zc
o
y0
p x0
x
1、问题的提出——摄像机标定
u x 0 Zc v 0 y 1 0 0
80 980
88 1010
95.7 1032
表 1 热敏电阻的测量值
t (C ) R ()
20.5 765
26 790
32.7 826
40 850
51 873
61 910
73 942
80 980
88 1010
95.7 1032
R a bt
N ˆ N N 2 N a 702 Ri t i.762 Ri t i t i i 1 i 1 a ˆ i 1 i 1 2 N N ˆ 2 N t t b 3. 4344 i i i 1 i 1 N N N N Ri t i Ri t i i 1 i 1 b ˆ i 1 R 943 N .168 N 2 N t i2 t i i 1 i 1
Process 目 的
Output
工程实践
模型结构
模型确定
模型校验
参数辨识
1、问题的提出
Input
Process
Output
极大似然：构造一个以数据和未知参数为自变量的似然函数。
Leabharlann Baidu
J max P(Z | )
要求：独立观测条件下，知道输出量的概率分布 缺点：输出量概率密度分布未知，极大似然无法工作 计算量大，得不到解析解
W ＝[ dh0 , da0 , da1 , da2 , db0 , db1 , db2 ] T ；
v( x, y ) 为量测噪声。
dh0 = h0 0 ， dh1 = h1 1 ， da0 = a0 0 ， da1 = a1 1 ， da2 = a2 0 ， db0 = b0 0 ， db1 = b1 0 ， db2 = b2 1
Gauss（1777-1855）
2、最小二乘辨识方法的基本概念
通过试验确定热敏电阻阻值和温度间的关系
t (C ) R ()
t1 R1
t2 R2
t N 1 RN 1
tN
RN
R a bt
• 当测量没有任何误差时，仅需2个测量值。 • 每次测量总是存在随机误差。
yi Ri vi 或 yi a bt vi