第6章 最小二乘滤波和预测
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
1 2 X 1 1 2 1 2 3
EE of BUPT
现代信号处理
时间平均自相关矩阵为
1 2 1 2 1 1 T ˆ Rx X X 2 1 2 3 1 1 时间平均互相关矩阵为 2 1 7 9 2 9 18 3
n 0
N 1
EE of BUPT
6.2.1 正则方程
13
用时间平均算子代替数学期望算子，那么所有对 MMSE准则导出的公式对LSE准则也适用。 正则方程： ˆ w r ˆxd R x ls 其解为：
ˆ 1r ˆ wls R x xd
T ˆ 1 ˆxd ˆxd J ls J d r Rx r T ˆxd Jd r wls
EE of BUPT
现代信号处理
6.2 线性最小二乘估计
7
给定期望响应d(n)和输入信号xk(n)的一组测量值， 通过线性组合求期望响应的估计（下式也称为回归 函数）： M y( n) wk xk ( n) x( n)w 0 n N 1
k 1
多 传 感 器
期望响应 输入信号
d的LS估计为
16 9 94 45 yls Xwls 16 9 34 15
23
或 yls Pd
投影矩阵为
2 9 1 9 T 1 T P X(X X ) X 2 9 1 3
现代信号处理
1 9 43 45 1 9 2 15
1 2 3 9 2 1 15 9 1 2 3 9 3 1 5 3
EE of BUPT
期望响应信号及其估计
3 2.5 2 d y ls
y and d
1.5 1 0.5 0 0 0.5 1 1.5 n 2 2.5 3
现代信号处理
EE of BUPT
25
误差能量为
10
x M (0) w1 x M (1) w 2 x M ( N 1) wM
误差数据矢量e（N 1） 期望响应矢量d（N 1） 输入数据矩阵X（N M） 权系数矢量w（M 1）
紧缩形式
现代信号处理
e = d - Xw
现代信号处理
EE of BUPT
6.2.2 正交原理
16
最小二乘估计的几何解释 数据空间的维数：N = 3 估计子空间的维数：M = 2
现代信号处理
EE of BUPT
6.2.2 正交原理
17
当误差矢量与估计空间正交时，误差矢量的长度 平方最小。此时 xk , e xk T e 0, 1 k M 或 X T e X T (d Xwls ) 0, ( X T X )wls X T d
勾股定理：
d
2
yls
2
els
2
最小误差平方和： T T J ls J d wls X T Xwls J d wls X Td
归一化以后的误差平方和： J y，ls J ls 1 Jd Jd 现代信号处理
EE of BUPT
6.2.3 投影算子
18
如果时间平均的相关矩阵是正定的，或者数据矩阵的 列是线性无关的，则正则方程式将给出超定（N > M） 最小二乘问题的唯一解。 1 LS解 1 T ˆ ˆxd X X X T d = X d wls Rx r 矩阵X的伪逆 对d 的LS估计
最小二乘（又称最小平方, least square, LS）原理是 德国科学家卡尔· 弗里德里希· 高斯提出的。 1801年，意大利天文学家朱赛普· 皮亚齐发现了第 一颗小行星谷神星。经过40天的跟踪观测后，由于 谷神星运行至太阳背后，使得皮亚齐失去了谷神星 的位置。随后全世界的科学家利用皮亚齐的观测数 据开始寻找谷神星，但是根据大多数人计算的结果 来寻找谷神星都没有结果。时年24岁的高斯也计算 了谷神星的轨道。奥地利天文学家海因里希· 奥尔 伯斯根据高斯计算出来的轨道重新发现了谷神星。
1 2 10 1 2 1 1 T ˆxd X d r 2 1 2 3 3 16 2
现代信号处理
EE of BUPT
代入正则方程，求解得权系数矢量为
1 2 4 5 10 5 5 1 ˆ r ˆ wls R x xd 7 16 22 1 5 45 45
T ˆ J ls J d rxd wls T ˆxd dTd r wls
4 T 10 5 98 18 16 22 45 45 归一化以后的误差平方和为
98 J ls 45 49 J d 18 405
EE of BUPT
输入数据矩阵的表示
11
输入数据矩阵X可分为按列表示或按行表示 x(0) x(1) X =[ x1 x2 ... x M ] x( N 1) 数据记录(data record，一列)：
xk xk (0) xk (1) .... xk ( N 1)
投影矩阵P是厄米特(Hermitian)矩阵
P PT
投影矩阵P是幂等矩阵 P 2 PT P P
现代信号处理
EE of BUPT
例6.2.1
20
假定我们希望从观察矢量x1 [1 2 1 1]T 和x2 [2 1 2 3]T 中估计序列d [1 2 3 2]T 。试确定最优滤波器系数w ls、 误差矢量els和最小二乘误差能量J ls。 解: 分析：根据公式(6.2.15)，我们需要根据已知条件得 ˆ 和r ˆxd。 到时间平均自相关矩阵和互相关矩阵 R x 根据已知，得输入数据矩阵为
d n xk n 1 k M
多传感器
xM n
x ( n) x1 n x2 n
对于单个传感器，x(n)由相邻的M个样本点组成 xk(n)=x(n-k), k=1,…,M w1 w 权系数矢量 w 2 ，也称为回归矢量 wM ˆ n 期望响应 d n 的估计，y n =d
e(0) d (0) x 1 (0) e(1) d (1) x (1) 1 e( N 1) d ( N 1) x 1 ( N 1) x 2 (0) x2 (1) x 2 ( N 1)
X =( X T X )1 X T
yls Xwls
投影算子把数据 矢量d投影到X的 列张成的空间
T 1 T X ( X X ) X d T 1 T X ( X X ) X d Pd
现代信号处理
EE of BUPT
投影矩阵
投影矩阵
P =X ( X T X )1 X T
EE of BUPT
现代信号处理
5
高斯使用的最小二乘法的方法发表于1809年他的著 作《天体运动论》中，而法国科学家勒让德于1806 年独立发现“最小二乘法”，但因不为时人所知而 默默无闻。两人曾为谁最早创立最小二乘法原理发 生争执。 1829年，高斯提供了最小二乘法的优化效果强于其 他方法的证明。 高斯和阿基米德、牛顿并列为世界三大数学家。
有两种解决方法：
如果可能的话，从可用的数据估计出需要的二阶矩， 从而得到最优MMSE滤波器的估计。
直接采用可用的数据样本，定义性能函数，然后最优 化性能函数，从而设计出最优滤波器。
在本章中，我们用估计误差的平方和最小（最小化能量） 作为性能标准来设计最优滤波器。 EE of BUPT 现代信号处理
此时，误差序列的平方和取最小值：
现代信号处理
EE of BUPT
定理6.1
当且仅当矩阵X的列向量线性无关，或等效于时间平均 相关矩阵为正定矩阵时，时间平均相关矩阵是可逆的。 注：正则方程的求解请参考相关书籍。
现代信号处理
EE of BUPT
6.2.2 正交原理
15
为了用直观的几何概念解释最小二乘滤波器，把期 望响应矢量和数据记录看成是N维矢量空间中的矢 量，矢量的内积和长度的平方分别定义为：
现代信号处理
第6章 最小二乘滤波和预测
EE of BUPT
6
估计一个已知的期望响应信号的目的是什么？
在系统建模应用中，我们的目的是为实际系统得到 描述输入、输出关系的数学模型。在这类问题中， 我们希望得到的是估计器或系统模型，而不是信号 的实际估计。 在线性预测编码中，有用的结果是预测误差或预测 器的系数。 在许多应用中，期望响应无法得到（如数字通信）。 因此，我们并不总是能用一组完整的数据来设计 LSE估计器。然而，如果数据的统计特性在许多组 之间没有明显变化，那么我们可以先用一组特定的 完整数据（即训练数据）设计估计器，然后用所得 到的估计器处理余下的、不完整的各组数据。
xi , x j =xi T x j xi ( n) x j ( n)
N 1 n 0 N 1
x = x , x x 2 ( n) J x
2
期望响应记录的估计可表示为数据记录的线性组合：
y Xw wk xk
k 1 M
n 0
xk 0 x 1 k 其中 xk xk N 1
T
快照(snapshot，一行)：
x( n)= x1 ( n) x2 ( n) .... x M ( n)
EE of BUPT
现代信号处理
6.2.1 正则方程
误差信号的能量
12
误差矢量：e = d - Xw
J e = eTe = (d T - w T XT )(d - Xw) = d Td - w T XTd - d T Xw + w T X T Xw ˆ w ˆ -r ˆ T w + wTR = J - w Tr
现代信号处理
EE of BUPT
估计误差（也称为残差）
e(n) d (n) y( n) d ( n) x( n)w
误差序列的平方和
Je
e( n)
n 0
N 1
2
以Je取最小值为准则，求解最优权系数wls
现代信号处理
EE of BUPT
6.2 线性最小二乘估计
数据测量时间区间为0 n N 1，把误差写成矩阵形式
d xd xd x
其中
J d =d Td d 2 ( n)
n 0
N 1
ˆ = XT X, R x
ˆ i , j =xT x R xi n x j n 1 i，j M x i j
n 0
N 1
ˆxd =X T d r
现代信号处理
ˆxd i , 1 =xiT d xi ( n)d ( n) r
现代信号处理
EE of BUPT
验证正交原理
误差矢量为
els d Pd 4 7 45 9 容易验证正交原理成立
T ls
11 4 9 15
T ls
来自百度文库
T
e x1 e x2 0
现代信号处理
EE of BUPT
6.3 最小二乘FIR滤波器
第6章 最小二乘滤波和预测
尹霄丽 北京邮电大学电子工程学院 yinxl@bupt.edu.cn
目录
2
6.1 最小二乘原理
6.2 线性最小二乘估计
6.3 最小二乘FIR滤波器
6.4 最小二乘线性预测
现代信号处理
EE of BUPT
6.1 最小二乘原理
3
为了求解最小均方误差意义下的最优滤波器，需要预先 知道二阶矩的信息。然而这些统计信息在很多实际应用 中是无法得到的，我们仅能得到输入信号和期望响应的 一组测量值。
EE of BUPT
现代信号处理
时间平均自相关矩阵为
1 2 1 2 1 1 T ˆ Rx X X 2 1 2 3 1 1 时间平均互相关矩阵为 2 1 7 9 2 9 18 3
n 0
N 1
EE of BUPT
6.2.1 正则方程
13
用时间平均算子代替数学期望算子，那么所有对 MMSE准则导出的公式对LSE准则也适用。 正则方程： ˆ w r ˆxd R x ls 其解为：
ˆ 1r ˆ wls R x xd
T ˆ 1 ˆxd ˆxd J ls J d r Rx r T ˆxd Jd r wls
EE of BUPT
现代信号处理
6.2 线性最小二乘估计
7
给定期望响应d(n)和输入信号xk(n)的一组测量值， 通过线性组合求期望响应的估计（下式也称为回归 函数）： M y( n) wk xk ( n) x( n)w 0 n N 1
k 1
多 传 感 器
期望响应 输入信号
d的LS估计为
16 9 94 45 yls Xwls 16 9 34 15
23
或 yls Pd
投影矩阵为
2 9 1 9 T 1 T P X(X X ) X 2 9 1 3
现代信号处理
1 9 43 45 1 9 2 15
1 2 3 9 2 1 15 9 1 2 3 9 3 1 5 3
EE of BUPT
期望响应信号及其估计
3 2.5 2 d y ls
y and d
1.5 1 0.5 0 0 0.5 1 1.5 n 2 2.5 3
现代信号处理
EE of BUPT
25
误差能量为
10
x M (0) w1 x M (1) w 2 x M ( N 1) wM
误差数据矢量e（N 1） 期望响应矢量d（N 1） 输入数据矩阵X（N M） 权系数矢量w（M 1）
紧缩形式
现代信号处理
e = d - Xw
现代信号处理
EE of BUPT
6.2.2 正交原理
16
最小二乘估计的几何解释 数据空间的维数：N = 3 估计子空间的维数：M = 2
现代信号处理
EE of BUPT
6.2.2 正交原理
17
当误差矢量与估计空间正交时，误差矢量的长度 平方最小。此时 xk , e xk T e 0, 1 k M 或 X T e X T (d Xwls ) 0, ( X T X )wls X T d
勾股定理：
d
2
yls
2
els
2
最小误差平方和： T T J ls J d wls X T Xwls J d wls X Td
归一化以后的误差平方和： J y，ls J ls 1 Jd Jd 现代信号处理
EE of BUPT
6.2.3 投影算子
18
如果时间平均的相关矩阵是正定的，或者数据矩阵的 列是线性无关的，则正则方程式将给出超定（N > M） 最小二乘问题的唯一解。 1 LS解 1 T ˆ ˆxd X X X T d = X d wls Rx r 矩阵X的伪逆 对d 的LS估计
最小二乘（又称最小平方, least square, LS）原理是 德国科学家卡尔· 弗里德里希· 高斯提出的。 1801年，意大利天文学家朱赛普· 皮亚齐发现了第 一颗小行星谷神星。经过40天的跟踪观测后，由于 谷神星运行至太阳背后，使得皮亚齐失去了谷神星 的位置。随后全世界的科学家利用皮亚齐的观测数 据开始寻找谷神星，但是根据大多数人计算的结果 来寻找谷神星都没有结果。时年24岁的高斯也计算 了谷神星的轨道。奥地利天文学家海因里希· 奥尔 伯斯根据高斯计算出来的轨道重新发现了谷神星。
1 2 10 1 2 1 1 T ˆxd X d r 2 1 2 3 3 16 2
现代信号处理
EE of BUPT
代入正则方程，求解得权系数矢量为
1 2 4 5 10 5 5 1 ˆ r ˆ wls R x xd 7 16 22 1 5 45 45
T ˆ J ls J d rxd wls T ˆxd dTd r wls
4 T 10 5 98 18 16 22 45 45 归一化以后的误差平方和为
98 J ls 45 49 J d 18 405
EE of BUPT
输入数据矩阵的表示
11
输入数据矩阵X可分为按列表示或按行表示 x(0) x(1) X =[ x1 x2 ... x M ] x( N 1) 数据记录(data record，一列)：
xk xk (0) xk (1) .... xk ( N 1)
投影矩阵P是厄米特(Hermitian)矩阵
P PT
投影矩阵P是幂等矩阵 P 2 PT P P
现代信号处理
EE of BUPT
例6.2.1
20
假定我们希望从观察矢量x1 [1 2 1 1]T 和x2 [2 1 2 3]T 中估计序列d [1 2 3 2]T 。试确定最优滤波器系数w ls、 误差矢量els和最小二乘误差能量J ls。 解: 分析：根据公式(6.2.15)，我们需要根据已知条件得 ˆ 和r ˆxd。 到时间平均自相关矩阵和互相关矩阵 R x 根据已知，得输入数据矩阵为
d n xk n 1 k M
多传感器
xM n
x ( n) x1 n x2 n
对于单个传感器，x(n)由相邻的M个样本点组成 xk(n)=x(n-k), k=1,…,M w1 w 权系数矢量 w 2 ，也称为回归矢量 wM ˆ n 期望响应 d n 的估计，y n =d
e(0) d (0) x 1 (0) e(1) d (1) x (1) 1 e( N 1) d ( N 1) x 1 ( N 1) x 2 (0) x2 (1) x 2 ( N 1)
X =( X T X )1 X T
yls Xwls
投影算子把数据 矢量d投影到X的 列张成的空间
T 1 T X ( X X ) X d T 1 T X ( X X ) X d Pd
现代信号处理
EE of BUPT
投影矩阵
投影矩阵
P =X ( X T X )1 X T
EE of BUPT
现代信号处理
5
高斯使用的最小二乘法的方法发表于1809年他的著 作《天体运动论》中，而法国科学家勒让德于1806 年独立发现“最小二乘法”，但因不为时人所知而 默默无闻。两人曾为谁最早创立最小二乘法原理发 生争执。 1829年，高斯提供了最小二乘法的优化效果强于其 他方法的证明。 高斯和阿基米德、牛顿并列为世界三大数学家。
有两种解决方法：
如果可能的话，从可用的数据估计出需要的二阶矩， 从而得到最优MMSE滤波器的估计。
直接采用可用的数据样本，定义性能函数，然后最优 化性能函数，从而设计出最优滤波器。
在本章中，我们用估计误差的平方和最小（最小化能量） 作为性能标准来设计最优滤波器。 EE of BUPT 现代信号处理
此时，误差序列的平方和取最小值：
现代信号处理
EE of BUPT
定理6.1
当且仅当矩阵X的列向量线性无关，或等效于时间平均 相关矩阵为正定矩阵时，时间平均相关矩阵是可逆的。 注：正则方程的求解请参考相关书籍。
现代信号处理
EE of BUPT
6.2.2 正交原理
15
为了用直观的几何概念解释最小二乘滤波器，把期 望响应矢量和数据记录看成是N维矢量空间中的矢 量，矢量的内积和长度的平方分别定义为：
现代信号处理
第6章 最小二乘滤波和预测
EE of BUPT
6
估计一个已知的期望响应信号的目的是什么？
在系统建模应用中，我们的目的是为实际系统得到 描述输入、输出关系的数学模型。在这类问题中， 我们希望得到的是估计器或系统模型，而不是信号 的实际估计。 在线性预测编码中，有用的结果是预测误差或预测 器的系数。 在许多应用中，期望响应无法得到（如数字通信）。 因此，我们并不总是能用一组完整的数据来设计 LSE估计器。然而，如果数据的统计特性在许多组 之间没有明显变化，那么我们可以先用一组特定的 完整数据（即训练数据）设计估计器，然后用所得 到的估计器处理余下的、不完整的各组数据。
xi , x j =xi T x j xi ( n) x j ( n)
N 1 n 0 N 1
x = x , x x 2 ( n) J x
2
期望响应记录的估计可表示为数据记录的线性组合：
y Xw wk xk
k 1 M
n 0
xk 0 x 1 k 其中 xk xk N 1
T
快照(snapshot，一行)：
x( n)= x1 ( n) x2 ( n) .... x M ( n)
EE of BUPT
现代信号处理
6.2.1 正则方程
误差信号的能量
12
误差矢量：e = d - Xw
J e = eTe = (d T - w T XT )(d - Xw) = d Td - w T XTd - d T Xw + w T X T Xw ˆ w ˆ -r ˆ T w + wTR = J - w Tr
现代信号处理
EE of BUPT
估计误差（也称为残差）
e(n) d (n) y( n) d ( n) x( n)w
误差序列的平方和
Je
e( n)
n 0
N 1
2
以Je取最小值为准则，求解最优权系数wls
现代信号处理
EE of BUPT
6.2 线性最小二乘估计
数据测量时间区间为0 n N 1，把误差写成矩阵形式
d xd xd x
其中
J d =d Td d 2 ( n)
n 0
N 1
ˆ = XT X, R x
ˆ i , j =xT x R xi n x j n 1 i，j M x i j
n 0
N 1
ˆxd =X T d r
现代信号处理
ˆxd i , 1 =xiT d xi ( n)d ( n) r
现代信号处理
EE of BUPT
验证正交原理
误差矢量为
els d Pd 4 7 45 9 容易验证正交原理成立
T ls
11 4 9 15
T ls
来自百度文库
T
e x1 e x2 0
现代信号处理
EE of BUPT
6.3 最小二乘FIR滤波器
第6章 最小二乘滤波和预测
尹霄丽 北京邮电大学电子工程学院 yinxl@bupt.edu.cn
目录
2
6.1 最小二乘原理
6.2 线性最小二乘估计
6.3 最小二乘FIR滤波器
6.4 最小二乘线性预测
现代信号处理
EE of BUPT
6.1 最小二乘原理
3
为了求解最小均方误差意义下的最优滤波器，需要预先 知道二阶矩的信息。然而这些统计信息在很多实际应用 中是无法得到的，我们仅能得到输入信号和期望响应的 一组测量值。