第三章贝叶斯估计理论(LMMSE和小结)
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
《信号检测与估计》
Signal Detection and Estimation
贝叶斯估计理论 ——LMMSE和小结
罗义军
QQ:896442923
贝叶斯估计理论——内容安排
主要内容 引言
线性贝叶斯估计量（LMMSE）
估计量总结
一般贝叶斯估计量
选择估计量使得平均代价（贝叶斯风险）最小
对给定代价函数，可得最优估计量的形式
可看作 则 维纳-霍夫等式为 ，此时维纳滤波为时不变的
可采用 “谱因式分解”求得 维纳滤波为IIR时不变的
定长FIR维纳滤波
数据：
FIR平滑器
为便于解释，考虑N=1的情况：
IIR平滑器
基于数据 估计
IIR维纳滤波
维纳-霍夫方程为：
1步预测的结果：对于自回归AR（3）
贝叶斯估计理论——内容安排
使贝叶斯MSE最小，导出的估计量称为
最佳加权系数的推导
代入得
对
求偏导数，
代入可得
这里
标量！
展开 可得
对加权系数
求偏导
可得 注意：LMMSE估计仅需1阶和2阶矩，不需PDF
代入并化简
可得 若 和 统计独立，则
完全基于先验 信息，数据无用
例12.1 WGN中具有均匀先验PDF的DC电平
回顾例10.1
定理4.2
若 则
一般线性模型的MVUE 定理11.1
贝叶斯线性模型下MMSE估计
序贯LMMSE估计
与序贯LS方法相同 固定参数个数（在此为随机的），增加数据样本数目
数据模型
目标： 给定基于 的估计 到达时，更新估计到
，当新的数据样本
求序贯LMMSE
在此，我们利用矢量空间得到“白噪声中的直流电平”的解，再推广 到一般情况
主要内容 引言
线性贝叶斯估计量（LMMSE）
估计量总结
估计方法
在经典方法 中，数据信息总结在概率密度函数p(x;θ)中， 其中PDF是θ的函数。 在贝叶斯方法 中，由于先验PDFp(θ)描述了有关θ的知识 而增加了数据的信息。数据信息总结在联合PDF p(x,θ)中。
CRLB
CRLB
BLUE
类似于 BLUE
估计量的显式可由前两阶矩来确定
卡尔曼滤波器是维纳滤波器的重要推广
贝叶斯估计理论——内容安排
主要内容 引言 线性贝叶斯估计量（LMMSE）
估计量总结
线性MMSE估计
假定标量参数 给定数据矢量 假定：联合PDF未知；已知前两阶矩； X与θ统计相关 目标：求满足如下形式的最佳估计量
选择加权系数 LMMSE估计量
若 A ~ u[ A0 , A0 ] 因此，采用LMMSE
，
需要积分而无法得到闭合Fra Baidu bibliotek式的解
1× N
几何解释
内积空间(IP Spaces)
矢量：全部随机变量集合/0均值、有限方差（ZMFV） 标量：全部实数集合 内积：<X,Y> = E{XY} 构成内积空间 首先：是矢量空间
用于估计标量随机变量 由N个随机变量的线性组合进行估计
上节课回顾
矢量LMMSE估计
若
矩阵
上节课回顾
初始化：无数据，利用先验信息
一般序贯LMMSE估计
估计量更新：
信号处理的例子——维纳滤波器
信号模型：
WSS广义平稳
问题表述：用线性滤波器处理 相关的 最小
，得到去噪的信号，使得所求信号
滤波、平滑、预测
FIR维纳滤波
原理上： 实际中：
IIR维纳滤波
三种代价函数
最小均方误差 （MMSE）估计
条件中位数估计
最大后验概率 （MAP）估计
图11.2 不同代价函数的估计量
LMMSE的引入
MMSE含有多重积分，MAP含有多维最大值求解问题。 联合高斯假设条件下容易得到，一般情况下难以求得 不能做出高斯假定时，选择保留MMSE准则 限定估计量线性
LMMSE估计
一般序贯LMMSE估计
初始化：无数据，利用先验信息
估计量更新：
序贯LMMSE框图
框图与序贯LS相同
回顾
贝叶斯MSE最小的估计量称为LMMSE估计量
注意：LMMSE估计仅需1 阶和2阶矩，不需PDF
上节课回顾
矢量：全部随机变量集合/0均值、有限方差（ZMFV） 标量：全部实数集合 内积：<X,Y> = E{XY} 构成内积空间
应用正交原理
假定
可逆
矢量LMMSE估计
待估参数 线性估计量 目标：对每个元素，使 最小 的标量
可将矩阵A的第i行和矢量a第i个元素，看成 LMMSE估计量的形式 已知每个待估参数的标量LMMSE形式 • 得出相应的解 • 组合为矢量形式
矢量LMMSE的解
矢量LMMSE估计
若 相似地，可得 矩阵
假定
和
均为0均值，给定
，其LMMSE估计
再由
寻求该估计的序贯更新
看作矢量空间
首先估计新数据
，即求
由旧数据， 估计新数据 预测
利用正交原理
由
提供的新的非冗余信息，称为“新息”
A在误差矢量上的投影正是所求的修正项
回顾特性：
新息序列
新息序列是： 1. 推导和应用序贯LMMSE的关键 2. 正交的（即不相关的）矢量序列 3. 在信号处理和控制中非常重要
LMMSE估计量的两个性质
1. 在线性变换上是可以转换的 若 且 为LMMSE估计量， 则 为 的LMMSE估计量
2. 未知参数之和的LMMSE估计量是每个估计量之和 若 则
贝叶斯高斯-马尔可夫定理
令数据为
应用前面的结果，可得
与贝叶斯线性估计（已包含高斯假定）形式相同 除非最佳估计线性，通常为次佳估计 LMMSE只需得到均值和协方差矩阵
BLUE
MLE
MLE
LSE
LSE
ME
ME
MAP
MMSE
MMSE
MAP
LMMSE
LMMSE
估计量的选择
P阶矩已知，PDF未知
作业：p330 12.2，12.6
Signal Detection and Estimation
贝叶斯估计理论 ——LMMSE和小结
罗义军
QQ:896442923
贝叶斯估计理论——内容安排
主要内容 引言
线性贝叶斯估计量（LMMSE）
估计量总结
一般贝叶斯估计量
选择估计量使得平均代价（贝叶斯风险）最小
对给定代价函数，可得最优估计量的形式
可看作 则 维纳-霍夫等式为 ，此时维纳滤波为时不变的
可采用 “谱因式分解”求得 维纳滤波为IIR时不变的
定长FIR维纳滤波
数据：
FIR平滑器
为便于解释，考虑N=1的情况：
IIR平滑器
基于数据 估计
IIR维纳滤波
维纳-霍夫方程为：
1步预测的结果：对于自回归AR（3）
贝叶斯估计理论——内容安排
使贝叶斯MSE最小，导出的估计量称为
最佳加权系数的推导
代入得
对
求偏导数，
代入可得
这里
标量！
展开 可得
对加权系数
求偏导
可得 注意：LMMSE估计仅需1阶和2阶矩，不需PDF
代入并化简
可得 若 和 统计独立，则
完全基于先验 信息，数据无用
例12.1 WGN中具有均匀先验PDF的DC电平
回顾例10.1
定理4.2
若 则
一般线性模型的MVUE 定理11.1
贝叶斯线性模型下MMSE估计
序贯LMMSE估计
与序贯LS方法相同 固定参数个数（在此为随机的），增加数据样本数目
数据模型
目标： 给定基于 的估计 到达时，更新估计到
，当新的数据样本
求序贯LMMSE
在此，我们利用矢量空间得到“白噪声中的直流电平”的解，再推广 到一般情况
主要内容 引言
线性贝叶斯估计量（LMMSE）
估计量总结
估计方法
在经典方法 中，数据信息总结在概率密度函数p(x;θ)中， 其中PDF是θ的函数。 在贝叶斯方法 中，由于先验PDFp(θ)描述了有关θ的知识 而增加了数据的信息。数据信息总结在联合PDF p(x,θ)中。
CRLB
CRLB
BLUE
类似于 BLUE
估计量的显式可由前两阶矩来确定
卡尔曼滤波器是维纳滤波器的重要推广
贝叶斯估计理论——内容安排
主要内容 引言 线性贝叶斯估计量（LMMSE）
估计量总结
线性MMSE估计
假定标量参数 给定数据矢量 假定：联合PDF未知；已知前两阶矩； X与θ统计相关 目标：求满足如下形式的最佳估计量
选择加权系数 LMMSE估计量
若 A ~ u[ A0 , A0 ] 因此，采用LMMSE
，
需要积分而无法得到闭合Fra Baidu bibliotek式的解
1× N
几何解释
内积空间(IP Spaces)
矢量：全部随机变量集合/0均值、有限方差（ZMFV） 标量：全部实数集合 内积：<X,Y> = E{XY} 构成内积空间 首先：是矢量空间
用于估计标量随机变量 由N个随机变量的线性组合进行估计
上节课回顾
矢量LMMSE估计
若
矩阵
上节课回顾
初始化：无数据，利用先验信息
一般序贯LMMSE估计
估计量更新：
信号处理的例子——维纳滤波器
信号模型：
WSS广义平稳
问题表述：用线性滤波器处理 相关的 最小
，得到去噪的信号，使得所求信号
滤波、平滑、预测
FIR维纳滤波
原理上： 实际中：
IIR维纳滤波
三种代价函数
最小均方误差 （MMSE）估计
条件中位数估计
最大后验概率 （MAP）估计
图11.2 不同代价函数的估计量
LMMSE的引入
MMSE含有多重积分，MAP含有多维最大值求解问题。 联合高斯假设条件下容易得到，一般情况下难以求得 不能做出高斯假定时，选择保留MMSE准则 限定估计量线性
LMMSE估计
一般序贯LMMSE估计
初始化：无数据，利用先验信息
估计量更新：
序贯LMMSE框图
框图与序贯LS相同
回顾
贝叶斯MSE最小的估计量称为LMMSE估计量
注意：LMMSE估计仅需1 阶和2阶矩，不需PDF
上节课回顾
矢量：全部随机变量集合/0均值、有限方差（ZMFV） 标量：全部实数集合 内积：<X,Y> = E{XY} 构成内积空间
应用正交原理
假定
可逆
矢量LMMSE估计
待估参数 线性估计量 目标：对每个元素，使 最小 的标量
可将矩阵A的第i行和矢量a第i个元素，看成 LMMSE估计量的形式 已知每个待估参数的标量LMMSE形式 • 得出相应的解 • 组合为矢量形式
矢量LMMSE的解
矢量LMMSE估计
若 相似地，可得 矩阵
假定
和
均为0均值，给定
，其LMMSE估计
再由
寻求该估计的序贯更新
看作矢量空间
首先估计新数据
，即求
由旧数据， 估计新数据 预测
利用正交原理
由
提供的新的非冗余信息，称为“新息”
A在误差矢量上的投影正是所求的修正项
回顾特性：
新息序列
新息序列是： 1. 推导和应用序贯LMMSE的关键 2. 正交的（即不相关的）矢量序列 3. 在信号处理和控制中非常重要
LMMSE估计量的两个性质
1. 在线性变换上是可以转换的 若 且 为LMMSE估计量， 则 为 的LMMSE估计量
2. 未知参数之和的LMMSE估计量是每个估计量之和 若 则
贝叶斯高斯-马尔可夫定理
令数据为
应用前面的结果，可得
与贝叶斯线性估计（已包含高斯假定）形式相同 除非最佳估计线性，通常为次佳估计 LMMSE只需得到均值和协方差矩阵
BLUE
MLE
MLE
LSE
LSE
ME
ME
MAP
MMSE
MMSE
MAP
LMMSE
LMMSE
估计量的选择
P阶矩已知，PDF未知
作业：p330 12.2，12.6