贝叶斯算法

贝叶斯定理
P(H|X)=P(X|H)*P(H)/P(X)
∵P(H∩X)=P(H)*P(X|H)=P(X)*P(H|X) 即P(H)*P(X|H)=P(X)*P(H|X) ∴P(H|X)=P(X|H) *P(H) /P(X)
朴素贝叶斯分类
朴素贝叶斯分类的工作过程如下：
(1) 每个数据样本用一个n维特征向量X= {x1， x2，……，xn} 表 示 ， 分 别 描 述 对 n 个 属 性 A1， A2，……，An样本的n个度量。
朴素贝叶斯分类Q&A
问题： 零概率影响——朴素贝叶斯分类是基于类
条件独立假设，通过各元组与类别的条件 概率的累乘得到所求条件概率，故当出现 某项元组不存在，从而导致该项概率为零， 从而消除其他项累乘所造成的影响。 解决： 拉普拉斯校准/拉普拉斯估计法——对各项 元组计数加1，从而避免某项元组计数为零 的情况出现，从而消除零概率影响。
朴素贝叶斯分类
(2)假定有m个类C1，C2，…，Cm，给定一个 未知的数据样本X（即没有类标号），分类 器将预测X属于具有最高后验概率（条件X 下）的类。也就是说，朴素贝叶斯分类将 未 知 的 样 本 分 配 给 类 Ci（1≤i≤m） 当 且 仅 当 P(Ci|X)> P(Cj|X)，对任意的j=1，2，…，m， j≠i。这样，最大化P(Ci|X)。其P(Ci|X)最大的 类Ci称为最大后验假定。
Smoker = yes) = 0.8 P( LungCancer = no | FamilyHistory = no ，
Smoker = no) = 0.9
贝叶斯信念网络
贝叶斯信念网络实例：
设X=（x1，…，xn）是被变量或属性Y1，…， Yn描述的数据元组。
注意，给定变量的双亲，每个变量都条件地 独立于网络图中它的非后代。
1、权重初始化 2、执行贪心爬山法的梯度下降策略 3、每次迭代更新权重——每次迭代算
法向当时看上去是最优解的方向移动 而不回溯 4、收敛到局部最优解
训练贝叶斯信念网络
以贝叶斯信念网络实例为例：
实例中的CPT表目：
ω ijk即为该表目；Yi为LungCancer，yij是 其值“yes”；Ui列出Yi的双亲节点 {FamilyHistory，Smoker}，uik列出双亲 节点的值{“yes”，“yes”}。
贝叶斯分类
贝叶斯定理 朴素贝叶斯分类
基本概念 具体实例 问题与解决方案
贝叶斯信念网络
基本概念 具体实例 训练贝叶斯信念网络
小结
贝叶斯定理
P(H)：先验概率 P(H|X)：后验概率——在条件X下，H的
后验概率，即给定观测数据样本X，假 定H成立的概率 X：数据元组——通常用n个属性集的测 量值描述 H：假设
对缺失数据不敏感 可以学习因果关系，加深对数据的理解 能将先验知识融入建模 避免了过度拟合问题，不需要保留数据进
行检验
否则，需要最大化P(X|Ci)*P(Ci)。注意，类 的先验概率根据样本的类别区分计算。
朴素贝叶斯分类
8
朴素贝叶斯分类
(的销4)，开给可销定以可具做能有类非许条常多件大属独。性立为的的降数朴低据素计集假算，定P计(。X算|CPi)的(X|开Ci) 给定样本的类标号，假定属性值相互条件
独立，即在属性间，不存在依赖关系。这 样
根据贝叶斯定理：
P(Ci
|
X)
P( X
| Ci )P(Ci ) P(X )
朴素贝叶斯分类
( 3 ) 由 于 P(X) 对 于 所 有 类 为 常 数 ， 只 需 要 P(X|Ci)*P(Ci)最大即可。如果Ci类的先验概率 未知，则通常假定这些类是等概率的，即 P(C1)=P(C2)=…=P(Cm)，因此问题就转换为对 P(X|Ci)的最大化（P(X|Ci)常被称为给定Ci时 数据X的似然度，而使P(X|Ci)最大的假设Ci称 为最大似然假设）。
2、沿梯度方向前进一小步： 更新权重：
其中，l表示步长的学习率（学习率 被设置为一个小常熟有助于收敛）。
训练贝叶斯信念网络
以贝叶斯信念网络实例为例：
3、重新规格化权重：
ωijk：概率值——ωijk∈[0,1]；
对于所有i,k, ≡1
训练贝叶斯信念网络
提高学习率方法： ∵信念网络提供了因果结构的显式表示 ∴可用网络拓扑和或条件概率值的形式
贝叶斯信念网络
网络内的节点可以选作“输出”节点， 代表类标号属性。
分类过程不是返回单个类标号，而是 可以返回概率分布，给出每个类的概 率。
信念网络可以用来回答实证式查询的 概率和最可能的查询解释。
贝叶斯信念网络
贝叶斯信念网络实例：
贝叶斯信念网络
贝叶斯信念网络实例：
CPT表内各项含义举例： P( LungCancer = yes | FamilyHistory = yes，
训练贝叶斯信念网络
以贝叶斯信念网络实例为例：
∵需最大化
∴可通过最大化
来求
即通过按 问题的求解
的梯度来求，从而简化
训练贝叶斯信念网络
以贝叶斯信念网络实例为例：
给定网络拓扑和ω ijk的初值，算法按以 下步骤处理：
1、计算梯度：
对每个i，j，k，计算
训练贝叶斯信念网络
以贝叶斯信念网络实例为例：
设D是数据元组X1，X2，…，X|D|的训练集。 ω ijk是具有双亲Ui=uik的变量Yi=yij的CPT表目，
其中ω ijk≡P(Yi=yij|Ui=uik)，其可视作权重，权 重的集合记作W；他们被初始化为随机概率 值。 梯度下降策略采用贪心爬山法，在每次迭代 后，权重值都会被修改，并最终收敛到一个 局部最优解。
该网络的联合概率分布的完全表示：
其中，P（x1，…，xn）是X的值的特定组合 的概率，P(xi|Parents（Yi）)的值对应于Yi的 CPT的表目。
训练贝叶斯信念网络
网络拓扑已知，变量可观测 直接训练网络
网络拓扑已知，变量隐藏 用有希望的梯度下降法训练网络
训练贝叶斯信念网络
训练信念网络意味着我们必须学习CPT表目的 值。
朴素贝叶斯分类Q&A
问题： 类条件独立性假设——朴素贝叶斯分类基
于类条件独立性假设的基础上才成立，而 大多数情况下类条件独立性假设不成立， 从而导致误差较大，无法使用朴素贝叶斯 分类。 解决： 贝叶斯信念网络
贝叶斯信念网络
贝叶斯信念网络，也叫信念网络、贝叶斯网 络和概率网络
概念的图模型 允许表示属性子集之间的依赖关系 说明联合条件概率分布；它允许在变量的子
集间定义类条件独立性；它提供一种因果关 系的图形模型，可以在其上进行学习。
贝叶斯信念网络
信念网络由两个成分定义——有向无环图和 条件概率表的集合
有向无环图（DAG）：每个节点代表一个随 机变量，变量可以是离散值或连续值，它们 可能对应于给定数据中的实际属性，或对应 于相信形成联系的“隐藏属性”；每条弧表 示一个概率依赖，若一条弧由节点Y到Z，则 Y是Z的双亲或直接前驱，而Z是Y的后代（给定 其双亲，每个变量条件独立于图中它的非后代）。
提供先验知识 其他训练方法： 完整数据：最大似然估计、贝叶斯统计 隐藏数据： Monte-Carlo方法，以及用
EM算法求ML或MAP
小结
朴素贝叶斯分类：简单，易理解，使 用有效，排除了噪声与无关变量的影 响（类条件独立性假设）。
贝叶斯信念网络： 放宽了变量无关的 假设，便于解决复杂的不确定性和关 联性问题。
训练贝叶斯来自百度文库念网络
假定ω ijk的每种可能设置都是等可能的， 梯度下降策略用于搜索能最好地对数 据建模的ω ijk值，这种策略是迭代的， 它沿着准则函数的梯度的负方向（即 陡峭下降的方向）搜索解，从而找出 最大化该函数的权重的集合W。
训练贝叶斯信念网络
获得最大化准则函数的权重的集合W的 步骤：
n
P( X | Ci ) P(xk | Ci ) 联合概率分布 k 1
朴素贝叶斯分类
(计5)算对P(未X|知Ci)样*P本(CXi)。分类，也就是对每个类Ci， 样 本 X 被 指 派 到 类 Ci， 当 且 仅 当 P(Ci|X)>
P其(CPj|(XX|)，Ci)*1P≤(j≤Cmi)最，大j≠i的，类换。言 之 ， X 被 指 派 到
贝叶斯信念网络
有向无环图：DAG中每一个节点表示一个随 机变量，可以是可直接观测变量或隐藏变量， 而有向边表示随机变量间的条件依赖。
条件概率表：条件概率表中的每一个元素对 应DAG中唯一的节点，存储此节点对于其所 有直接前驱节点的联合条件概率。
备注：贝叶斯网络性质——每一个节点在其 直接前驱节点的值制定后，这个节点条件独 立于其所有非直接前驱前辈节点