贝叶斯估计

信号的参数估计一般指参数在观测时间内不随时间变化，故是静态估计。若被估计参量是随机过程或非随机的未知过称，则称为波形估计或状态估计，波形估计或状态估计是动态估计。

3.2贝叶斯估计

贝叶斯估计是基于后验概率分布（posterior distribution ）的一类估计方法，其中后验概率分布中采用了先验信息（prior information ）。所谓先验信息，是指已知待估计参数的概率密度函数0()p θ，不管θ是随机变变量或是未知的固定常数。而后验概率分布具有下面的形式，

00

()(|)(),1

(|)()p c p X p c p X p d θθθθθθ*==⎰。

注意两点：1，0()p θ不必满足标准化条件，即0()1p d θθ=⎰，但是0()p θ必须是非负的，并且0102

()(

)

p p θθ代表似真比（ratio of plausibility ），若0102

()(

)1p p θθ>，则说明在1θ和2θ两个值之间我们更倾向于1θ为真值；

2，()p θ*实际上就是(|)p X θ，是通过试验得到数据X 以后θ的概率密度函数，仅当0()1p d θθ=⎰时有明确的含义。

下面讨论中，()p θ代表0()p θ，(|)p X θ代表()p θ*。

类似于信号检测中的问题，贝叶斯估计在参数估计中对于不同的估计结果赋予了不同的代价值，然后求解平均代价最小的情况。

估计误差为θθ-，我们只关心估计误差的代价，于是代价函数

()()

c c θθθ-=，是估计误差的单变量函数。典型的代价函数有三种：

⑴ 平方型

()

2()c θθθ=-，它强调了大误差的影响 ⑵ 绝对值

()

c θθθ=-，给出了代价随估计误差成比例增长 ⑶ 均匀型

()

1

c θε

θεθε

>⎧=⎨

⎩-<<

这种代价函数给出了估计误差绝对值大于某个值时，代价等于常数，而估计误差绝对值小于某个值时，代价等于零。

在贝叶斯估计中，要求估计误差引起的代价的平均值最小。由于()

c θ是估计误差θθ-的函数， ˆθ又是观测值x 的函数，所以()

c θ是θ和x 的联合函数。

所以代价的平均值c 为：

()(),c c p x d dx θθθ∞

∞

-∞-∞

=⎰

⎰ （3-7）

()()(),|p x p x p x θθ=

()

()()|c c p x d p x dx θθθ∞

∞-∞-∞⎡⎤∴=⎢⎥⎣⎦

⎰⎰ （3-8）

为了在准则下导出估计量，我们分析

()()|c p x d θθθ∞-∞

⎰和()p x 都是非负的。

所以要求c 最小，也就是要求()

()|c p x d θθθ∞

-∞

⎰对每一个x 都最小。

我们定义条件代价R C （准则）为：

()

()|R C c p x d θθθ∞

-∞

=⎰ （3-9）

因此贝叶斯估计就变为要求条件代价R C 最小。 以下由代价函数推导出相应的估计方法——估计量。

3.2.1最小均方误差估计

Minimum Mean Square Estimation （MMSE 或简记为MS ） 平方型代价函数：()

2()c θθθ=- 则(

)

()2

ˆ|R C p x d θθ

θθ∞-∞

=-⎰

，比较均方误差(){}2

E θθ

-

要求R C 最小，即最小均方误差估计，也就是使0R

dC d θ

=，下面推导估计量的形式。

得到： ()()

2|0p x d θθθθ∞-∞--=⎰

分开后得：

()()||p x d p x d θθθθθθ∞

∞-∞

-∞

=⎰

⎰

而上式左面

()()||p x d p x d θθθθθθθ∞

∞

-∞

-∞

==⎰

⎰ （**）

带回的估计结果： ()ˆ|MS p x d θθθθ∞-∞

∴=⎰

（3-10）可见，

这种估计就是求取信号θ在后验概率密度函数()|p x θ意义下的均值，即条件均值()()||E x p x d θθθθ∞

-∞=⎰。也就是说，最小均方误差估计就是条件均值估计。

看（3-10）式估计的另一种形式：由于已知的是先验概率()p θ和条件概率

()|p x θ，由此，根据贝叶斯公式

()()()

()

||p p x p x p x θθθ=

（*）可将

（3-10）式化为：

()()()()()()()|1ˆ||MS

p p x d p p x d p x p p x d θθθθ

θ

θθθθθθθ

∞

∞-∞∞

-∞

-∞

∴==⎰⎰⎰

（3-11）为什

么()()()|p x p p x d θθθ∞

-∞

=⎰的说明：对（*）式积分

()()()()||p x p x d p p x d θθθθθ∞

∞

-∞

-∞=⎰

⎰

上式左边()()()|p x p x d p x θθ∞-∞

==⎰

代回上式 ()()()|p x p p x d θθθ∞

-∞∴=⎰

所以最小均方误差准则求估计的两种算法：

1）()ˆ|MS p x d θθθθ∞-∞=⎰

（条件均值） 2）()()()()|ˆ|MS

p p x d p p x d θθθθ

θ

θθθ

∞

-∞∞

-∞

=

⎰⎰

3.2.2最大后验概率估计Maximum Aposteriori Probability

均匀型代价函数--1

c θθε

εθθε

->⎧=⎨

⎩-<-<

由定义的条件代价R C （准则）为：

()

()|R C c p x d θθθ∞

-∞

=⎰

将10

c θθε

εθθε

->⎧=⎨

⎩-<-< 代入式上式得