对贝叶斯估计的理解
- 1、下载文档前请自行甄别文档内容的完整性,平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益,请联系客服反馈,我们会尽快为您处理(人工客服工作时间:9:00-18:30)。
对贝叶斯定理及其在信号处理中的应用的理解
信号估计中的贝叶斯方法是对贝叶斯定理的应用,要理解贝叶斯估计首先要理解贝叶斯定理。
一、 贝叶斯定理:
1. 贝叶斯定理的简单推导过程
贝叶斯定理就是条件概率公式(贝叶斯公式),所谓条件概率就是在事件A 发生的条件下事件B 发生的概率,常用(/)P B A 表示。一般情况下(/)P B A 与
(/)P A B 是不相等的。容易得到:
(/)P B A =
()()P A B P A ,(/)P A B =()
()
P A B P B
所以 (/)P B A ()P A =(/)P A B ()P B , 对上式变形得贝叶斯公式: (/)
P A B =(/)()
()
P B A P A P B (1)
若',A A 为样本空间的一个划分,可得全概率公式:
()P B =''(/)()(/)()P B A P A P B A P A +
所以(1)式可以改写为:
''
(/)()
(/)(/)()(/)()
P B A P A P A B P B A P A P B A P A =
+ (2) 如果12n A A A ,,...,为样本空间的一个划分,由(2)式可得条件概率(/)j P A B
1
(/)()
(/)(/)()
j j j n
i
i
i P B A P A P A B P B A P A ==
∑ (3)
(3)式就是当样本空间的划分为n 时的贝叶斯公式即贝叶斯定理。我们把其中的()(1,...)i P A i n =称为先验概率,即在B 事件发生之前我们对i A 事件概率的一个判断。(/)j P A B 称为后验概率,即在B 事件发生之后我们对i A 事件概率的重新评估。
2. 贝叶斯公式的事件形式
对于(3)式的得到,可不必要求12n A A A ,,...,为样本空间的一个划分。假定
12k A A A ,,...,是互不相容事件,只要他们之和1
k i i A = 包含事件B ,即1
k
i i B A =⊂ ,
则有 1
(/)()
(/)(/)()j j
j k
i i i P B A P A P A B P B A P
A ==∑ (4) (3)式和(4)式是贝叶斯公式的事件形式。可在对贝叶斯定理的应用中我们更
多的使用贝叶斯公式的密度函数形式。
3.贝叶斯公式的密度函数形式
在给出贝叶斯公式的密度函数形式之前,先了解一下贝叶斯学派的一些基本假设。
假设Ⅰ:随机变量X 有一个密度函数(;)p x θ,其中θ是一个参数,不同的θ对应不同的密度函数,故从贝叶斯观点看,(;)p x θ是在给定θ后的一个条件密度函数,因此记为(/)p x θ更恰当一些。这个条件密度能提供我们的有关的θ信息就是总体信息。
假设Ⅱ:当给定θ后,从总体(/)p x θ中随机抽取一个样本1,...,,n X X 该样本中含有θ的有关信息。这种信息就是样本信息。
假设Ⅲ:从贝叶斯观点来看,未知参数θ是一个随机变量。而描述这个随机变量的分布可从先验信息中归纳出来,这个分布称为先验分布,其密度函数用()πθ表示。
(1)先验分布
将总体中的未知参数θ∈Θ看成一取值于Θ的随机变量,它有一概率分布,记为
()πθ,称为参数θ的先验分布。
(2)后验分布
在贝叶斯统计学中,把以上的三种信息(总体信息、样本信息、先验信息)归纳起来的最好形式是在总体分布基础上获得的样本1,...,,n X X 和参数的联合密度函数:
11(,...,,)(,...,/)()
n n h x x p x x θθπθ=
在这个联合密度函数中。当样本1,...,,n X X 给定之后,未知的仅是参数θ了,我们关心的是样本给定后,θ的条件密度函数,依据密度的计算公式,容易获得这个条件密度函数:
11111(,...,,)(,...,/)()
(/,...,)(,...,)(,...,/)()n n n n n h x x p x x x x m x x p x x d θθπθπθθπθθ
=
=
⎰(5) 这就是贝叶斯公式的密度函数形式,其中1(/,...,)n x x πθ称为θ的后验密度函数,或后验分布。而:
11(,,)(,,)()n n m x x p x x d θπθθΘ
=⎰
是样本的边际分布,或称样本1,...,,n X X 的无条件分布,它的积分区域就是参数θ的取值范围,随具体情况而定。
现在对前面的分析总结如下:人们根据先验信息对参数θ已有一个认识,这个认识就是先验分布()πθ。通过试验,获得样本。从而对θ的先验分布进行调整,调整的方法就是使用上面的贝叶斯公式,调整的结果就是后验分布
1(/,...,)n x x πθ。后验分布是三种信息的综合。获得后验分布使人们对θ的认识又前进一步,可看出,获得样本的的效果是把我们对θ的认识由()πθ调整到
1(/,...,)n x x πθ。所以对θ的统计推断就应建立在后验分布1(/,...,)n x x πθ的基础
上。
二、 贝叶斯定理在信号估计中的应用
假设在表达式y x ω=+中,y 为我们接收到的含躁信号图像,x 为真实信号
图像,ω为与x 相互独立但与x 同分布的噪声。设x 服从2(0,)x N σ分布,ω服从2(0,)N ωσ分布。()X p x 为x 的先验概率密度函数,()W p ω为ω的概率密度函数,
从而
2
2().exp()2W p ωωωσ-= (5)
若我们采取最大后验概率法来估计真实信号x ,即在接受到的信号y 的条件
下,求使得后验概率密度/(/)X Y p x y 最大的x ,记x
=/((/))argmax X Y x
p x y 则由贝叶斯公式的密度函数形式可得:
x
=/(/)()
()()
argmax Y X X Y x
p y x p x p y (6)
(6)式等价于