对贝叶斯估计的理解

对贝叶斯定理及其在信号处理中的应用的理解

信号估计中的贝叶斯方法是对贝叶斯定理的应用，要理解贝叶斯估计首先要理解贝叶斯定理。

一、 贝叶斯定理：

1. 贝叶斯定理的简单推导过程

贝叶斯定理就是条件概率公式(贝叶斯公式)，所谓条件概率就是在事件A 发生的条件下事件B 发生的概率，常用(/)P B A 表示。一般情况下(/)P B A 与

(/)P A B 是不相等的。容易得到:

(/)P B A =

()()

P A B P A ,(/)P A B =

()()

P A B P B

所以 (/)P B A ()P A =(/)P A B ()P B , 对上式变形得贝叶斯公式： (/)P A B =

(/)()

()

P B A P A P B （1）

若',A A 为样本空间的一个划分，可得全概率公式：

()P B ='

'

(/)()(/)()

P B A P A P B A P A +

所以（1）式可以改写为：

'

'

(/)()

(/)(/)()(/)()

P B A P A P A B P B A P A P B A P A =

+ （2）

如果12n A A A ，，...,为样本空间的一个划分，由（2）式可得条件概率(/)j P A B

1

(/)()

(/)(/)()

j j j n

i

i

i P B A P A P A B P B A P A ==

∑ （3）

（3）式就是当样本空间的划分为n 时的贝叶斯公式即贝叶斯定理。我们把其中的()(1,...)i P A i n =称为先验概率，即在B 事件发生之前我们对i A 事件概率的一个判断。(/)j P A B 称为后验概率，即在B 事件发生之后我们对i A 事件概率的重新评估。

2. 贝叶斯公式的事件形式

对于(3)式的得到，可不必要求12n A A A ，，...,为样本空间的一个划分。假定

12k A A A ，，...,是互不相容事件，只要他们之和1

k

i

i A = 包含事件B ，即1

k

i

i B A =⊂

,

则有 1

(/)()

(/)(/)()

j j

j k

i i

i P B A P A P A B P B

A P A ==

∑ (4)

(3)式和(4)式是贝叶斯公式的事件形式。可在对贝叶斯定理的应用中我们更多的使用贝叶斯公式的密度函数形式。

3．贝叶斯公式的密度函数形式

在给出贝叶斯公式的密度函数形式之前，先了解一下贝叶斯学派的一些基本假设。

假设Ⅰ：随机变量X 有一个密度函数(;)p x θ，其中θ是一个参数，不同的θ对应不同的密度函数，故从贝叶斯观点看，(;)p x θ是在给定θ后的一个条件密度函数，因此记为(/)p x θ更恰当一些。这个条件密度能提供我们的有关的θ信息就是总体信息。

假设Ⅱ：当给定θ后，从总体(/)p x θ中随机抽取一个样本1,...,,n X X 该样本中含有θ的有关信息。这种信息就是样本信息。

假设Ⅲ：从贝叶斯观点来看，未知参数θ是一个随机变量。而描述这个随机变量的分布可从先验信息中归纳出来，这个分布称为先验分布，其密度函数用()πθ表示。

(1)先验分布

将总体中的未知参数θ∈Θ看成一取值于Θ的随机变量，它有一概率分布，记为

()πθ，称为参数θ的先验分布。

(2)后验分布

在贝叶斯统计学中，把以上的三种信息(总体信息、样本信息、先验信息)归纳起来的最好形式是在总体分布基础上获得的样本1,...,,n X X 和参数的联合密度函数：

11(,...,,)(,...,/)()

n n h x x p x x θθπθ=

在这个联合密度函数中。当样本1,...,,n X X 给定之后，未知的仅是参数θ了，我们关心的是样本给定后，θ的条件密度函数，依据密度的计算公式，容易获得这个条件密度函数：

11111

(,...,,)(,...,/)()

(/,...,)(,...,)

(,...,/)()n n n n n

h x x p x x x x m x x p x x

d θθπθπθθπθθ

=

=

⎰（5）

这就是贝叶斯公式的密度函数形式，其中1(/,...,)n x x πθ称为θ的后验密度函数，或后验分布。而:

11(,,)(,,)()n n m x x p x x d θπθθΘ

=

⎰

是样本的边际分布，或称样本1,...,,n X X 的无条件分布，它的积分区域就是参数θ的取值范围，随具体情况而定。

现在对前面的分析总结如下：人们根据先验信息对参数θ已有一个认识，这个认识就是先验分布()πθ。通过试验，获得样本。从而对θ的先验分布进行调整，调整的方法就是使用上面的贝叶斯公式，调整的结果就是后验分布

1(/,...,)n x x πθ。后验分布是三种信息的综合。获得后验分布使人们对θ的认识又

前进一步，可看出，获得样本的的效果是把我们对θ的认识由()πθ调整到

1(/,...,)n x x πθ。所以对θ的统计推断就应建立在后验分布1(/,...,)n x x πθ的基础

上。

二、 贝叶斯定理在信号估计中的应用

假设在表达式y x ω=+中，y 为我们接收到的含躁信号图像，x 为真实信号图像，ω为与x 相互独立但与x 同分布的噪声。设x 服从2(0,)x N σ分布，ω服从

2

(0,)N ωσ分布。()X p x 为x 的先验概率密度函数，()W p ω为ω

的概率密度函数，

从而

22

()exp(

)2W p ω

ω

ωσ-=

（5）

若我们采取最大后验概率法来估计真实信号x ，即在接受到的信号y 的条件

下，求使得后验概率密度/(/)X Y p x y 最大的x ，记x

=/((/))arg m ax X Y

x

p

x y 则由

贝叶斯公式的密度函数形式可得：

x

=/(/)()

(

)()

arg m ax Y X X Y x

p y x p x p y (6)

(6)式等价于