最小二乘参数辨识方法及原理

•1795年，高斯提出了最小二乘方法。
1、问题的提出
1795年，高斯提出的最小二乘的基本原理是
未知量的最可能值是使各项实
际观测值和计算值之间差的平方乘
以其精确度的数值以后的和为最小。
z(k) y(k) v(k)
Gauss（1777-1855）
m
使 w(k) | z(k) y(k) |2 最小 k 1
通过试验确定热敏电阻阻值和温度间的关系
t (C)
t1
R ()
R1
t2
t N 1
tN
R2
RN 1
RN
R a bt
• 当测量没有任何误差时，仅需2个测量值。 • 每次测量总是存在随机误差。
yi Ri vi 或 yi a bt vi
vi yi Ri或vi＝yi a bti
2.1 利用最小二乘法求模型参数
根据最小二乘的准则有
N
N
J min vi2 [Ri (a bti )]2
u m11 m12 m13 m14 X w
Zc v
m21
m22
m23
m24
Yw
1 m31 m32 m33 m34 Zw
1、问题的提出——摄像机标定 m11 X wi m12Ywi m13Zwi m14 uim31 X wi uim32Ywi uim33Zwi uim34
摆轴灵敏度 误差系数
1、问题的提出——惯性器件标定
y KF K I aI KOaO K PaP K IOaI aO KOPaOaP
K PI aP aI K II aI2 KOOaO2 K PPaP2
1、问题的提出——景像匹配
x2 a0 a1 x a2 y y2 b0 b1 x b2 y
x,
y) ,
f
' cy
(
x,
y)
x
,
f
' cy
(
x,
y)
y
]T
；
Y (x, y) ＝ fr (x, y) fc (x, y) ；
W ＝[ dh0 , da0 , da1, da2 , db0 , db1 , db2 ] T ；
v(x, y) 为量测噪声。
dh0 = h0 0 ， dh1 = h1 1 ， da0 = a0 0 ， da1 = a1 1， da2 = a2 0 ， db0 = b0 0 ， db1 = b1 0 ， db2 = b2 1
系统辨识
第4章 最小二乘参数辨识方法
本章内容
1、最小二乘辨识的基本概念 2、一般最小二乘辨识方法 3、加权最小二乘辨识方法 4、递推最小二乘参数辨识方法 5、增广最小二乘辨识方法 6、多变量最小二乘辨识方法
本章的学习目的
1、掌握最小二乘参数辨识方法的基本原理 2、掌握常用的最小二乘辨识方法 3、熟练应用最小二乘参数辨识方法进行模型参数辨识 4、能够编程实现最小二乘参数辨识
1、问题的提出
1795年，高斯提出的最小二乘的基本原理是
未知量的最可能值是使各项实
际观测值和计算值之间差的平方乘来自百度文库
以其精确度的数值以后的和为最小。
z(k) y(k) v(k)
Gauss（1777-1855）
m
使 w(k) | z(k) y(k) |2 最小 k 1
2、最小二乘辨识方法的基本概念
y(k)
z(k)
G(k)
m次独立试验的数据
(t1, y1) (t2 , y2 ) (tm, ym )
z(k) y(k) v(k)
1、问题的提出
z
v(k)
t(k)
y(k)
z(k)
G(k)
m次独立试验的数据
f (t)
(t1, y1)
(t2 , y2 )
t (tm , ym )
z(k) a0 a1h1(k) a2h2 (k) anhn (k) v(k)
fr x, y h0 h1 fc a0 a1x a2 y,b0 b1x b2 y nx, y
1、问题的提出——景像匹配
Y (x, y) X T (x, y)W v(x, y)
式中，
X (x,
y)
=
[1,
fc x,
y,
f
' cx
(
x,
y) ,
f
' cx
(
x,
y)
x
,
y
,
f
' cy
(
KSI aS aI K II aI2 KOOaO2 KSS aS2
y KF K I aI KOaO K PaP K IOaI aO KOPaOaP
K PI aP aI K II aI2 KOOaO2 K PPaP2
零偏
标度因数
输出轴灵敏 度误差系数
二阶非线性 误差系数
1、问题的提出——惯性器件标定
y
y1
x1
t
v v0 0 a(t)dt
运动
轨迹
t
0
x
X X 0 0 v(t)dt
加速度计
a
∫V
∫X
陀螺仪
Z
∫ ,,
Y
X
1、问题的提出——惯性器件标定
加速度计
陀螺仪
1、问题的提出——惯性器件标定
Kd KI aI KOaO KS aS KIOaI aO KOSaOaS
1、问题的提出
例：表中是在不同温度下测量同一热敏电阻的阻值，根据 测量值确定该电阻的数学模型。
热敏电阻的测量值 t (C) 20 32 51 73 88 95 R () 765 826 873 942 1010 1032
1、问题的提出
辨识目的：根据过程所提供的测量信息，在某种准则意 义下，估计模型的未知参数。
m21 X wi m22Ywi m23Z wi m24 vi m31 X wi vi m32Ywi vi m33Z wi vi m34
i 1,2, , N
1、问题的提出
y(t) a0 a1h1(t) a2h2 (t) anhn (t)
t(k)
y(k)
G(k)
v(k)
t(k)
Input
Process
Output
工程实践 目 的 模型结构
模型确定 模型校验 参数辨识
1、问题的提出
Input
Process
Output
极大似然：构造一个以数据和未知参数为自变量的似然函数。
Jmax P(Z | )
要求：独立观测条件下，知道输出量的概率分布
缺点：输出量概率密度分布未知，极大似然无法工作 计算量大，得不到解析解
1、问题的提出——摄像机标定
1、问题的提出——摄像机标定
X
摄
m
像 机O
坐 标Y
系
M ( X c ,Yc , Zc )
Z
S yf
x
f Zc
Xc
y
f Zc
Yc
o y0
x
p x0
1、问题的提出——摄像机标定
u x
Zc
v 1
0 0
0
y
0
u0 v0
1
0
0 0
R 0T
Xw
t 1
Yw Zw 1