贝叶斯算法

1 贝叶斯算法介绍

1.1 概率论相关背景知识

1)

古典概率公式： 2)

几何概率公式 3)

加法定理 4) 乘法定理

1.2 贝叶斯概率

1) 先验概率根据历史资料或者主观判断所确定的各事件的发生概率，该类概率没经过试验验证，属于检验前的概率。

2) 后验概率 结合调查等方式获取了新的附加信息对先验概率进行修正后得到的概率。

3) 联合概率：任意两个事件的乘积的概率，称之为交事件的概率。

4) 全概率公式 如果影响A 事件的所有因素B1B2，…满足：B i *B j =Φ，（i ≠j ）且∑P (B i )=1，p (B i )>0,i =1,2,….

贝叶斯假设：先验概率 当没有任何以往信息来确定π(θ)的时候，假设其先验分布为均匀分布。这种假设收到经典统计界的批评，因此，推出了经验贝叶斯估计EB （Empirical Bayes estimator ）.其原理是：将经典的方法与贝叶斯方法结合，用经典方法获得样本的边缘密度p(x)，然后通过∫π(θ)p (x |θ)dθ+∞−∞确定先验分布π(θ)。

5)

6) 贝叶斯定理：后验概率或逆概率 p (θ|x )=

π(θ)p(x |θ)p(x)=π(θ)p(x |θ)∫π(θ)p(x |θ)dθ（π(θ)是先验分布）

离散表示方法 1.3 贝叶斯方法解决问题步骤

1) 定义随机变量。将随机参数看成随机变量（或随机向量），记为θ0.将样本x 1,x 2,…x n 的联合分布密度p(x 1,x 2,…x n ；n)看成是x 1,x 2,…x n 对θ的条件分布密度，记为p(x 1,x 2,…x n |θ)或p(D|θ)；

2) 确定先验分布密度p(θ)。无信息时采用贝叶斯假设；有信息时采取共轭先验分布。

3) 利用贝叶斯定理计算后验分布密度；

4) 利用后验分布密度对问题做出判断。

1.4贝叶斯方法的特点，难点以及不足

特点：一句话，用概率来表现所以的不确定性，将不确定性量化，学习机制，推理机制都是建立在概率的基础上。

难点：先验概率的确定。贝叶斯假设的先验概率很容易被接受，但是在很多情况下，将其作为先验概率使用的时候，与实际情况差距过大。因此如何合理确定先验概率对应贝叶斯方法来说是至关重要的。

常用先验概率确定原则：

2．共轭分布族：Raiffa 和Schaifeer提出先验分布应选取共轭分布，即要求后验分布与先验分布属于同一分布类型。常用的共轭分布族是以指数函数为分布密度函数f(x)的核心，这样先验和后验均为指数函数，只相差一个系数。

3.最大熵原则：

4.杰弗莱原则：

通常在选择先验分布是选择指数分布或者平均分布。

1.5贝叶斯网络

1.5.1贝叶斯网络简介

贝叶斯网络是一个带有概率注释的有向无环图。这个图模型能表示大的变量集合的联合概率分布（物理的，或贝叶斯的），可以分析大量变量之间的相互关系，利用贝叶斯定理揭示的学习和统计推断功能，实现预测、诊断、分类、聚类等任务。

一组变量X={X1,X2,…Xn}的贝叶斯网络由两部分组成：

（1）一个表示X中的变量的条件独立断言的网络结构S，即有向无环图（DAG）；

（2）与每一个变量相联系的局部概率分布集合P。

举例：a)贝叶斯模糊推理：性别（SEX），社会状态（SES），智商（IQ）家长鼓励（PE）升学计划（CP）之间的关系。

b)贝叶斯精确推理：P(B|A)=[P(A|B)P(B)]/P(A) 此公式称为贝叶斯规则。其推理基础独立性：各个因素之间的影响是独立的

链式规则：p(x1,x2,…x n)是变量x1,x2,…x n的联合概率分布，则p(x1,x2,…x n)= p(x n|x1,…x n-1).

1.5.2贝叶斯网络的用途

1因果推理

2诊断推理

3辩解（即两个兄弟原因）

1.6从FT生成BN网络

1.6.1转化算法：

（1）将FT中的所以基本事件对应表达为BN中的根节点。

（2）将FT中各个基本事件的先验概率，直接赋值BN中对应的根节点作为其先验概率（3）将FT中的每个逻辑门都表达为BN中的一个节点，节点标志和状态取值与FT中逻辑门的输出事件一致；

（4）按照FT中表达的逻辑门与基本事件的关系连接BN中的节点，连接节点的有向边方向与FT中逻辑门的输入、输出关系对应；

（5）将FT中逻辑门的逻辑关系表达为BN中对应节点的条件概率表

1.6.2贝叶斯网络对故障树表现力的扩展

1，分析计算能力：推理速度和信息利用量上比通常FTA方法高。

2，多态逻辑表达：FT应用的前提假设是二态取值，BN可以表达多态。

3，不确定关系表达：

4，FT模型不如BN表达简介，并且随着复杂性增加，FT会产生组合爆炸问题；而BN则有更强的复杂问题表达能力。