贝叶斯定理在定位与跟踪上应用参考

2.1贝叶斯定理

贝叶斯定理是关于随机事件A和B的条件概率的一则定理。

贝叶斯定理公式：P(A|B)=P(B|A)*P(A)/P(B) （2.1.1）

上面的公式也可变形为：P(B|A)=P(A|B)*P(B)/P(A) （2.1.2）

这里，P(A|B)是在B发生的情况下A发生的可能性。

在贝叶斯定理中，每个名词定义如下：

P(A)是A的先验概率。之所以称为"先验"是因为它不考虑任何B方面的因素。

P(A|B)是已知B发生后A的条件概率，也由于得自B的取值而被称作A的后验概率。

P(B|A)是已知A发生后B的条件概率，也由于得自A的取值而被称作B的后验概率。

P(B)是B的先验概率。

2.2贝叶斯估计

2.2.1 贝叶斯估计的基本原理。

A．贝叶斯估计的4个步骤

✧假设

✧将待估计的参数看作符合某种先验概率分布的随机变量

✧估计方式

✧通过观察样本，将先验概率密度通过贝叶斯规则转化为后验概率密度。

B．概率密度估计的两种基本方法

方法1：参数估计(parametric methods)

根据对问题的一般性的认识，假设随机变量服从

某种分布，分布函数的参数通过训练数据来估计。

如：ML 估计，Bayesian估计。

方法2：非参数估计(nonparametric methods)：

不用模型，而只利用训练数据本身对概率密度做

估计。

C．贝叶斯估计应用及其框图

贝叶斯估计应用在很多领域，在概率、数理统计学中以贝叶斯姓氏命名的有贝叶斯公式、贝叶斯风险、贝叶斯决策函数、贝叶斯决策规则、贝叶斯估计量、贝叶斯方法、贝叶斯统计等等.

贝叶斯统计学派把任意一个未知参数都看成随机变量，应用一个概率分布去描述它的未知状况，该分布称为先验分布。

图 2.1 贝叶斯估计应用框图

D．贝叶斯估计的公式

概率论中贝叶斯公式为

（2.1.3）

这里，p (x) 目标状态x的先验概率分布；p (z|x) 给定x情况下测量值z的似然函数；

p (x|z) 给定测量值z情况下x的后验概率分布；p(z) 是边缘分布，也叫规则化常量。

由于式（2.1.3）中的分母对所有测量值z都是一个常数，做如下逼近：

（2.1.4）

根据决策理论,由于状态不能直接观察,只能观察另外一个与X（下面也用θ表示）有联系的随机变量Z 来获得后验信息。Z与X的联系愈紧密愈好,然后利用对Z的观察结果修正对后验概率的估计。由于观察Z还受到其他随机因素的影响, 因此对于给定的X是一随机变量, 似然函数P ( Z |X )即为Z的条件密度函数——对预测因子Z的联合分布。

对于计算后验概率,似然函数是最为关键的。为此,首先需要确定Z的函数形式。为了使X 能够观察, 最合适的模型是多元线性模型。当然,预测函数并不是惟一的。当然, 可以利用过去的历史数据, 用线性回归或核估计的方法估计出Z的概率分布函数,并构建似然函数

P(Z |X )。当然, 可以利用过去的历史数据, 用线性回归或核估计的方法估计出X的概率分布函数,并构建似然函数P(Z |X )。

（2.1.4）

因为Z 的值不满足概率的形式,但其大小与概率具有内在联系, Z值越小,发生的概率越大, 两者之间可以证明满足线性关系。因此,似然函数均值为f (X) , 这里f (X ) = aX + k, 并且a 和k 的值可以经过回归得到。因此,可推出后验概率p (x|z)同样服从正态分布, 即p (x|z)～N (μ1，σ1²) （2.1.5）

这里

（2.1.6）

（2.1.7）

后验分布p (x|z)综合了总体P( Z |X ) 、样本Z和先验分布P( X )中有关X的信息, 为了寻找财务困境概率X的估计值X ,需要从后验分布p (x|z)中提取信息。最常见的方法有3种:后验分布的均值, 后验分布的中位数及使后验密度达到最大的X。在这里, 3 种方法的结果一样。

观测到样本Z 1, Z 2 ,⋯, Z n后,若σ²、τ²、a、k 已知,

（2.1.8）

为完全分统计量,此时,

（2.1.9）

由式（2.1.5）可以推出

（2.1.10）

E．两种贝叶斯估计

其一是最大似然（ML）估计：

根据每一类的训练样本估计每一类的类条件概率密度。

（2.1.11）

其二是Bayesian估计：

同样根据每一类的训练样本估计每一类的类条件概率密度。但不再把参数θ看成是一个未知的确定变量，而是看成未知的随机变量。通过对第i类样本的观察，使概率密度分布

转化为后验概率再求贝叶斯估计。

ML估计与Bayesian估计比较如下：

ML估计特点：

1）参数为未知确定变量；

2）没有利用参数先验信息；

3）估计的概率模型与假设；

4）可理解性好；

5）计算简单。

Bayesian估计特点：

1）参数为未知随机变量；

2）利用参数的先验信息；

3）估计的概率模型相比于假设模型会发生变化；

4）可理解性差；

5）计算复杂。

ML估计与贝叶斯估计有什么关系如下：

•ML估计通常比贝叶斯估计简单；

•ML估计给出参数的值，而贝叶斯估计给出所有可能的参数值的分布；

•当可用数据很多以至于减轻了先验知识的作用时，贝叶斯估计可以退化为ML估计。

F . 求贝叶斯估计的方法（平方误差损失下）

贝叶斯估计的方法分为如下四个步骤。