对贝叶斯估计的理解

合集下载
  1. 1、下载文档前请自行甄别文档内容的完整性,平台不提供额外的编辑、内容补充、找答案等附加服务。
  2. 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
  3. 3、如文档侵犯您的权益,请联系客服反馈,我们会尽快为您处理(人工客服工作时间:9:00-18:30)。

对贝叶斯定理及其在信号处理中的应用的理解

信号估计中的贝叶斯方法是对贝叶斯定理的应用,要理解贝叶斯估计首先要理解贝叶斯定理。

一、 贝叶斯定理:

1. 贝叶斯定理的简单推导过程

贝叶斯定理就是条件概率公式(贝叶斯公式),所谓条件概率就是在事件A 发生的条件下事件B 发生的概率,常用(/)P B A 表示。一般情况下(/)P B A 与

(/)P A B 是不相等的。容易得到:

(/)P B A =

()()P A B P A ,(/)P A B =()

()

P A B P B

所以 (/)P B A ()P A =(/)P A B ()P B , 对上式变形得贝叶斯公式: (/)

P A B =(/)()

()

P B A P A P B (1)

若',A A 为样本空间的一个划分,可得全概率公式:

()P B =''(/)()(/)()P B A P A P B A P A +

所以(1)式可以改写为:

''

(/)()

(/)(/)()(/)()

P B A P A P A B P B A P A P B A P A =

+ (2) 如果12n A A A ,,...,为样本空间的一个划分,由(2)式可得条件概率(/)j P A B

1

(/)()

(/)(/)()

j j j n

i

i

i P B A P A P A B P B A P A ==

∑ (3)

(3)式就是当样本空间的划分为n 时的贝叶斯公式即贝叶斯定理。我们把其中的()(1,...)i P A i n =称为先验概率,即在B 事件发生之前我们对i A 事件概率的一个判断。(/)j P A B 称为后验概率,即在B 事件发生之后我们对i A 事件概率的重新评估。

2. 贝叶斯公式的事件形式

对于(3)式的得到,可不必要求12n A A A ,,...,为样本空间的一个划分。假定

12k A A A ,,...,是互不相容事件,只要他们之和1

k i i A = 包含事件B ,即1

k

i i B A =⊂ ,

则有 1

(/)()

(/)(/)()j j

j k

i i i P B A P A P A B P B A P

A ==∑ (4) (3)式和(4)式是贝叶斯公式的事件形式。可在对贝叶斯定理的应用中我们更

多的使用贝叶斯公式的密度函数形式。

3.贝叶斯公式的密度函数形式

在给出贝叶斯公式的密度函数形式之前,先了解一下贝叶斯学派的一些基本假设。

假设Ⅰ:随机变量X 有一个密度函数(;)p x θ,其中θ是一个参数,不同的θ对应不同的密度函数,故从贝叶斯观点看,(;)p x θ是在给定θ后的一个条件密度函数,因此记为(/)p x θ更恰当一些。这个条件密度能提供我们的有关的θ信息就是总体信息。

假设Ⅱ:当给定θ后,从总体(/)p x θ中随机抽取一个样本1,...,,n X X 该样本中含有θ的有关信息。这种信息就是样本信息。

假设Ⅲ:从贝叶斯观点来看,未知参数θ是一个随机变量。而描述这个随机变量的分布可从先验信息中归纳出来,这个分布称为先验分布,其密度函数用()πθ表示。

(1)先验分布

将总体中的未知参数θ∈Θ看成一取值于Θ的随机变量,它有一概率分布,记为

()πθ,称为参数θ的先验分布。

(2)后验分布

在贝叶斯统计学中,把以上的三种信息(总体信息、样本信息、先验信息)归纳起来的最好形式是在总体分布基础上获得的样本1,...,,n X X 和参数的联合密度函数:

11(,...,,)(,...,/)()

n n h x x p x x θθπθ=

在这个联合密度函数中。当样本1,...,,n X X 给定之后,未知的仅是参数θ了,我们关心的是样本给定后,θ的条件密度函数,依据密度的计算公式,容易获得这个条件密度函数:

11111(,...,,)(,...,/)()

(/,...,)(,...,)(,...,/)()n n n n n h x x p x x x x m x x p x x d θθπθπθθπθθ

=

=

⎰(5) 这就是贝叶斯公式的密度函数形式,其中1(/,...,)n x x πθ称为θ的后验密度函数,或后验分布。而:

11(,,)(,,)()n n m x x p x x d θπθθΘ

=⎰

是样本的边际分布,或称样本1,...,,n X X 的无条件分布,它的积分区域就是参数θ的取值范围,随具体情况而定。

现在对前面的分析总结如下:人们根据先验信息对参数θ已有一个认识,这个认识就是先验分布()πθ。通过试验,获得样本。从而对θ的先验分布进行调整,调整的方法就是使用上面的贝叶斯公式,调整的结果就是后验分布

1(/,...,)n x x πθ。后验分布是三种信息的综合。获得后验分布使人们对θ的认识又前进一步,可看出,获得样本的的效果是把我们对θ的认识由()πθ调整到

1(/,...,)n x x πθ。所以对θ的统计推断就应建立在后验分布1(/,...,)n x x πθ的基础

上。

二、 贝叶斯定理在信号估计中的应用

假设在表达式y x ω=+中,y 为我们接收到的含躁信号图像,x 为真实信号

图像,ω为与x 相互独立但与x 同分布的噪声。设x 服从2(0,)x N σ分布,ω服从2(0,)N ωσ分布。()X p x 为x 的先验概率密度函数,()W p ω为ω的概率密度函数,

从而

2

2().exp()2W p ωωωσ-= (5)

若我们采取最大后验概率法来估计真实信号x ,即在接受到的信号y 的条件

下,求使得后验概率密度/(/)X Y p x y 最大的x ,记x

=/((/))argmax X Y x

p x y 则由贝叶斯公式的密度函数形式可得:

x

=/(/)()

()()

argmax Y X X Y x

p y x p x p y (6)

(6)式等价于

相关文档
最新文档