11状态估计与参数辨识

2
参照一维r.v.估算结果 使此二阶钜最小的g( )值是x的条件数学期望 ˆ g ( z ) xf ( x | )dx E ( x | ) X

g ( z ) E ( x | )为通常所说的回归曲线
二维r.v.最小方差估计
对于两个r.v. X , Z 来说，若已知其联合概率分布密度 ˆ E f ( x, ), 则x的最小方差估计x的条件数学期望x= （x|z） 若g(z)与z不成线性关系，最小方差估计又为非线性估计 此结果可推广到多维r.v.的x估计问题 =X ˆ -X E ( X | Z ) EX X EX
x x mx ( z mz )
线性最小方差估计
=X X ˆ 估计误差X
x x ˆ EX EX EX EX E (mx ) E ( z mz ) 0
无偏估计 推广到x，z是多维变量，得到多维r.v.线性最小方差估计 ˆ =m Cor ( x, z )(Var z ) 1 ( z m ) X
最小二乘估计
的未知函数用f(t)表示
f(t)=x1 +x2t+...xnt 更一般形式 f(t)=x1h1(t)+x2 h 2(t)+...+xn h n(t)=(t,x1 , x2 ...xn ) h(t )...h(t )为已知的确定性函数，x1...xn为n个待定的未知参数 m个观测值代入以上方程 m n m n m n 方程解不定 可唯一解x1...xn，但f (t )要经过每个观测点( i ,ti ) 方程数大于未知数组
1



源自文库
(x g(z)) f (x | )dx d
2
为使J 最小，只要对每一个 值，使积分 ( x g ( z ))2 f ( x | )dx为最小。
二维r.v.最小方差估计
对于给定 值，r.v.X的c.p.d.f.f ( x | )



( x g ( z )) f ( x | )dx是x关于常值g( )的二阶矩
x z
最小二乘估计
最小二乘估计
最小方差估计：要已知随机变量概率分布 线性最小方差估计：只知道随机变量一、二阶钜 最小二乘法：r.v.钜不知道 问题：根据观测结果确定两个变量δ和t之间的未知函数关系。 设进行了m次独立实验，m对观测值（δ1，t1）…（δm，tm） 用最优的形式表达δ和t之间的函数关系。
i=1
2
对x1...xm 求偏导并等于0 m ` f ( t x , x ... x ) f i i , 1 2 n x 1 (ti , x1...xn ) 0 i=1 ...... m ` f ( t x , x ... x ) f i i, 1 2 n xn (ti , x1 ...xn ) 0 i=1 ˆ1...x ˆn 有n个参数n个方程，n个未知参数方程，解之可得x1...xn的最优估值x
n 1
不用解方程方法，用数理统计求估值
最小二乘估计
最小二乘法：是观测值 i 对应的函数f (ti )的偏差平方和最小。 J = i f (ti ) 按J 为最小的条件确定f (t )中的参数x1...xn
2 i=1 m m
J = i f ( x1 , x2 ...xn )
最小二乘估计
t ( s) 1 2 3 4 eg.z观测值如点 z 0.8 1.3 1.7 2.1 设z (t ) f (t ) x1 x2t , 求x1和x2的估值。
① 不知P 1 (t ), P 2 ( z ), P (t , z ) 用最小二乘 x1 Z Hxtv zi 1 t +v x2 z1 1 t1 v1 z 1 t v 2 2 z H V 2 z3 1 t3 v3 1 t z 4 v4 4 ˆ1 x X ( H T H ) 1 H T Z ˆ2 x
最小二乘估计
xi 选的不够精确 影响因素 存值观测误差 的模型方程f (t )选的不确切 ˆ1 , x ˆ2 ...x ˆn )之差 残差：观测值zi 与f (ti , x ˆ1 , x ˆ2 ...x ˆn ) ei zi f (ti , x (i 1, 2, 3...m) 最小二乘是根据残差平方和为最小来确定x1 , x2 ...xn ˆ1 , x ˆ2 ...x ˆn )+ei zi =f (ti , x zi xh(t ) xh(t ) ... xh(t ) e(i 1, 2..., m) z xh(t ) xh(t ) ... xh(t ) e ... z xh(t ) xh(t ) ... xh(t ) e z x e h(t )...h(t ) x ... e ... H ...... z ... z x e h(t )...h(t ) Z HX e 残差平方和J
自动控制原理
第十一章
状态估计与参数辨识
状态估计与参数辨识
11.1 最优估计理论
控制对象的数学模型并确定其参数 ——参数估计问题 状态变量估计——系统有随机干扰 最小方差估计 现行最小方差估计 最小二乘估计 极大储能估计
常用估计方法
状态估计与参数辨识
参数估计中，常用最小方差准则，求估计 误差的方差为最小 *随机变量的数学期望是最小方差估计 *知道随机变量的一阶矩阵和二阶钜，可用线 性最小方差估计 *随机变量的一阶钜，二阶钜未知，可用最 小二乘法估计
2 2



用J 对a，b求偏导
J 2 E x (az b) Z 0① a J 2 E x (az b) 0② b
线性最小方差估计
E x az mx amz z 0 E [ x mx ) a( z mz ]( z mz mz 0 E x mx )( z mz mz E ( x mx ) aE ( z mz ) 2 amz E ( z mz ) 0 Cov( x, z ) aVarZ 0 Cor ( x, z ) x DX DZ x x x x a 2 0 Cov( x, z ) x x a DZ ˆ az b az m am m a( z m ) X x z x z
最小二乘估计
1 1 0.8 1 1 1 1 0 2 1 1 1 1 1.3 1 2 3 4 1 3 1 2 3 4 1.7 1 4 2.1 0.8 0.8 1 4 10 1 1 1 1 1.3 1.5 0.5 1 1 1 1 1.3 10 30 1 2 3 4 1.7 0.5 0.2 1 2 3 4 1.7 2.1 2.1 0.8 0.5 0 0.5 1.3 0.4 1 0.3 0.1 0.1 0.3 1.7 0.43 2.1
线性最小方差估计
线性最小方差估计
计算条件数学期望E X | Z 需要知道j.p.d.f. 工程上此工作很麻烦，通常不知道r.v.的p.d.f. 放松对概率的要求，只求观测值和被估计值的一、二阶钜， 即知道EX，EZ，方差VarX ，VarZ , 此方差Cor(x,z),Cor(z,x) 此时，需要对估计量的函数形式加以限制， 而不像最小方差估计那样考虑的估计量 可以是观测值的任意形式函数 用线性最小方差估计
一维r.v.最小方差估计
一维r.v.最小方差估计
二维r.v.最小方差估计
二维r.v.最小方差估计
二维r.v.最小方差估计
r.v.X, Z的j.p.d.f.表示为f (x, )=f (x| )f 2 ( ) 估计误差的方差：J =E x-g(z) f 2 ( )
2
不用解方程方法，用数理统计求估值x1 , x2 ...xn，向量用数理统计求估算值
最小二乘估计
ˆ e Z HX ˆ )T ( Z HX ˆ ) (Z T X ˆ T H T )( Z HX ˆ) J ( Z HX ˆ X ˆ THTZ X ˆ T H T HX ˆ Z T Z Z T HX ˆ 的偏导数并令偏导数为零 求J 对X J ˆ 2( H T Z H T HX ˆ)0 =-H T Z H T Z 2 H T HX ˆ X ˆ HTZ H T HX ˆ ( H T H ) 1 H T Z X 为求估值，逆阵(H T H)1必须存在 2 J J 最小充分条件 2 =2 H T H 0即H T H 为正定 ˆ x ˆ X=H ˆ 1Z m n时 Z=HX m n时 X=(H T H)1H T Z
e
i 1
m
2
i
eT e
最小二乘估计
对x求梯度( xT y ) ( y T x) y ( xT x ) 2 x ( xT Ay ) Ay ( yT Ax) AT y ( xT Ax) ( A AT ) y ( f T ( x) g ( x)) ( g T ( x) f ( x)) J f T g J g T f ( g T ( x)Qg ( x)) 2 J g T Qg ( x) Q对称
线性最小方差估计
两个r.v.X,Z,X的条件数学期望E(x|z)是一条曲线，不是z的线性函数， 将最小方差估计为非线性最小方差估计， (而正态分布r.v.条件数学期望是观测值的线性函数) ˆ 用z的象形函数表示 线性最小方差估计把r.v.x的估值x ˆ x=az+b 估计误差 ˆ E x az b E x 2 2(az b) (az b) 2 J=E x x
最小二乘：m次独立实验（z1 ,t1）...(zm ,tm ) 最优的反应z与t之间关系，一般z未知函数用P(t )表示 f(t)=x1h1(t)+x2 h 2(t)+...+xn h n(t)=f(t ,x1 , x2 ...xn ) m n m n m n 方程解不定 可唯一解x1...xn，有随机误差，不能准确确定z和t i 之间关系 不能用解方程方法求参数