最小二乘估计概要

最小二乘估计——引言
x[n] A w[n], w[n] 是高斯白噪声
最小二乘估计
最小方差无偏估计
最小二乘估计——引言

考虑正弦信号，信号模型为：
s[n] A cos(2 f0n)
若A是待估计参量，f0 是已知的：
线性最小二乘
J [ A] ( x[n] A cos(2 f 0 n)) 2
n 1
N
求极值，对上式求导：
N J 2 ( R(n) a bt (n)) 0 a n 1 N
ˆ t (n) R(n) ˆ b Na
n 1 n 1
N
N
J 2 ( R(n) a bt (n))t (n) 0 b n 1 N N N ˆ t 2 (n) ( R(n)t (n)) ˆ t ( n) b a
n 0
N 1
若 f0 是待估计参量，A是已知的：
非线性最小二乘
J [ f 0 ] ( x[n] A cos(2 f 0 n))
n 0
N 1
2
最小二乘估计——内容安排
引言
序贯最小二乘估计
小结
1
2
3
4
5
线性最小二乘估计
非线性最小二乘估计
最小二乘估计——线性最小二乘估计
表1中是在不同温度下测量同一热敏电阻的阻值，根据测量值 确定该电阻的数学模型，并求出当温度在70摄氏度时的电阻值。
最小二乘估计（Least Square Estimate，LSE） 估计的目的是使得所有观测数据和 假设信号之间的平方误差最小
J ( ) ( x[n] s[n]) , n 0,1, 2,
2 n 0
N 1
, N 1
均方误差准则
2 ˆ) E ˆ mse(
最小二乘估计——引言
1 N 1 A x[n] x N n 0
样本均值估计即是一种特殊的最小二乘估计
最小二乘估计——引言
无偏估计的类型
确定最小方差
观测数据的概率描述
各种限制。。。
之前学过的估计方法
对观测数据不做 任何概率或统计描述 仅仅假设一个数学模型
最小二乘估计
最小二乘估计——引言
最小二乘估计——线性最小二乘估计
当系统测量噪声V是均值为0，方差为R时
ˆ) 性质1. 最小二乘估计即是无偏估计，有： E (
T 1 T ˆ E ( ) E[ ( H H ) H x]
E[(H T H ) 1 ( H T H ) ( H T H ) 1 H T x] ( H H ) H E ( H x)


最小二乘估计——引言
假设取决于未知参量 的信号s[n] ，由于噪声或模型不准确， 观测信号是受干扰的信号，用观测数据 x[n]表示， 的最小 二乘估计就是选择使得 J ( ) 最小的 值 通常用于数据的准确统计特性未知，或不能找出最优估计的场合
最小二乘估计——引言

假设信号是 s[n] A ，经过N次观测，观测数据为：
Baidu Nhomakorabea
2
ˆ b
N ( R(n)t (n)) R(n) t (n)
n 1 n 1 N 2 N t ( n) t ( n) n 1 n1 N n 1 2
最小二乘估计——线性最小二乘估计
ˆ 702.762 a
ˆ 3.4344 b
R 702 .762 3.4344 t
表 1 热敏电阻的测量值
t (C ) R ()
20.5 765
26 790
32.7 826
40 850
51 873
61 910
73 942
80 980
88 1010
95.7 1032
最小二乘估计——线性最小二乘估计
R
数学模型：
R a bt
t
最小二乘估计——线性最小二乘估计
LS为：
J ( R(n) (a bt (n)))2
前后观测五次 温度值如下： 第一次观测：38.0
第二次观测：37.9
38
摄氏度
第三次观测：38.1 第四次观测：38.1 第五次观测：37.9
最小二乘估计——引言

假设信号是 s[n] A ，经过N次观测，观测数据为：
x[n](n 0,1, 2,
, N 1)
如何得到A？
取个平均！
1 N 1 A x[n] x N n 0
《信号检测与估计》
Signal Detection and Estimation
最小二乘估计
最小二乘估计——内容安排
引言
序贯最小二乘估计
小结
1
2
3
4
5
线性最小二乘估计
非线性最小二乘估计
最小二乘估计——内容安排
引言
序贯最小二乘估计
小结
1
2
3
4
5
线性最小二乘估计
非线性最小二乘估计
最小二乘估计——引言
n 1 n 1 n 1
最小二乘估计——线性最小二乘估计
N N N N
ˆ a
2 R ( n ) t (n) ( R(n)t (n)) t (n) n 1 n 1 n 1 n 1
N t ( n) t ( n) n 1 n 1
N 2 N N N N
最小二乘估计——线性最小二乘估计
J ( ) x x 2x H H H
T T T T
对 求导，并令其值为0，有：
ˆ0 2H x 2H H
T T
所以：
T 1 T ˆ (H H ) H x

定理4.1 若观测数据可表示为
N (0, 2I)
则MVU估计量
最小二乘估计——线性最小二乘估计

矢量最小二乘
假设矢量参量 是 维的，信号 s [s[1], s[2],, s[ N ]] 是待估计参量的线性函数，假设：
p 1
T
s H x H V
LS为：
N p
观测矩阵 满秩矩阵
J ( ) ( x H )T ( x H )
x[n](n 0,1, 2,
N 1 n 0
, N 1)
2
使得 J ( A) ( x[n] A)
最小,
上式对A求导，并令结果为0，可得：
( A x[n])
n 0
N 1
0
N * A x[n] 0
n 0
N 1
1 N 1 A x[n] x N n 0