贝叶斯定理及应用

贝叶斯定理及应用

中央民族大学

孙媛

一贝叶斯定理

一、贝叶斯定理

贝叶斯定理（Bayes‘ theorem）由英国数学家托马斯贝叶斯（Thomas Bayes）

·Thomas Bayes 在1763年发表的一篇论文中，首先提出了这个定理。用来描述两个条件概率之间的这个定理

关系，比如P(A|B) 和P(B|A)。

一、贝叶斯定理

一贝叶斯定理

所谓的贝叶斯定理源于他生前为解决一个“逆概”问题写的一篇文章，而这篇文章是在他死后才由他的一位朋友发表出来的。

在贝叶斯写这篇文章之前，人们已经能够计算“正向概率”，如假设袋子里面有N 个白球，M 个黑球，你伸手进去摸一如“假设袋子里面有N个白球M个黑球你伸手进去摸一把，摸出黑球的概率是多大”。而一个自然而然的问题是反过来：“如果我们事先并不知道袋子里面黑白球的比例，而是闭着眼睛摸出一个（或好几个）球，观察这些取出来的球的颜色之后，那么我们可以就此对袋子里面的黑白球的比例作出什么样的推测。这个问题，就是所谓的逆向概率问题。

样的推测”。这个问题就是所谓的逆向概率问题。

一、贝叶斯定理

一贝叶斯定理

←实际上就是计算"条件概率"的公式。

p y，

←所谓"条件概率"（Conditional probability），就是指在事件B发生的情况下，事件A发生的概率，用P(A|B)来表示。

的先验概率之所以称为先验是因为它不考虑任何←P(A)是A的先验概率，之所以称为先验是因为它不考虑任何B

的因素。

←P(A|B)是在B发生时A发生的条件概率，称作A的后验概率。←P(B)是B的先验概率。

←P(B|A)是在A发生时B发生的条件概率，称作B的后验概率。

贝叶斯定理与其他统计学推断方法截然不同它建立在主←贝叶斯定理与其他统计学推断方法截然不同。它建立在主

观判断的基础上，也就是说，你可以不需要客观证据，先估计一个值，然后根据实际结果不断修正。正是因为它的主观性太强，曾经遭到许多统计学家的诟病。

←贝叶斯定理需要大量的计算，因此历史上很长一段时间，无法得到广泛应用。只有计算机诞生以后，它才获得真正的重视。人们发现，许多统计量是无法事先进行客观判断的，而互联网时代出现的大型数据集，再加上高速运算能力，为验证这些统计量提供了方便，也为应用贝叶斯定理力为验证这些统计量提供了方便也为应用贝叶斯定理创造了条件，它的威力正在日益显现。

一贝叶斯定理

一、贝叶斯定理

根据文氏图，可以很清楚地看到在事件B发生的情况下，事件A发生的概率就是

生的情况下事件

P(A∩B)除以P(B)。

一、贝叶斯定理

一贝叶斯定理

贝叶斯公式的用途在于通过己知三个概率来推测第四个概率。它的内容是：在B 出现的前测第四个概率它的内容是B

提下，出现的概率等于出现的前提下

A A B

出现的概率乘以A 出现的概率再除以B 出现

的概率。通过联系A 与B，计算从一个事件

发生的情况下另一事件发生的概率，即从结果发生的情况下另事件发生的概率即从结果溯到源头即概率

上溯到源头（也即逆向概率）。

一、贝叶斯定理

一贝叶斯定理

通俗地讲就是当你不能确定某一个事件发生的概率时你可以依靠与该事件本质属性相关的概率时，你可以依靠与该事件本质属性相关的

事件发生的概率去推测该事件发生的概率。用事件发生的概率去推测该事件发生的概率

数学语言表达就是：支持某项属性的事件发生

得愈多，则该事件发生的可能性就愈大。这个

推理过程有时候也叫贝叶斯推理。

二、全概率公式

二全概率公式

←假定样本空间S，是两个事件A与A'的和。

←上图中，红色部分是事件A，绿色部分是事件A'，它们共同构成了样本空间S。

在这种情况下，事件B可以划分成两个部分。

二、全概率公式

二全概率公式

←这就是全概率公式。它的含义是，如果A和A'构成样本空间的一个划分，那么事件A'

间的个划分，那么事件B的概率，就等于A和A的概率分别乘以B对这两个事件的条件概率之和。

←将这个公式代入上一节的条件概率公式，就得到了条件概率的另种写法：

率的另一种写法：

例1：随机选球问题

设有个各个球的箱箱 假设有两个各装了100个球的箱子，甲箱子

，绿，

中有70个红球，30个绿球，乙箱子中有30个红球，70个绿球。假设随机选择其中一个箱子，从中拿出个球记下球色再放回个箱子从中拿出一个球记下球色再放回原箱子，如果得到的球是红球。问认为被选择的箱子是甲箱子的概率有多大？

←刚开始选择甲乙两箱子的先验概率都是50%，因为是随机是贝斯定的因为是随机二选一（这是贝叶斯定理二选一的

特殊形式）。即有：

)=05)=1-

←P(甲) = 0.5，P(乙) = 1 -P(甲)；

←这时在拿出一个球是红球的情况下，我们就应该根据这个信息来更新选择的是甲箱子的先验概率：

←P(甲|红球1) = P(红球|甲) ×P(甲) / (P(红球|甲)(甲)((红球|乙)(乙)))

) ×P() + (P() ×P(

P(红球|甲)：甲箱子中拿到红球的概率

P(红球|乙)：乙箱子中拿到红球的概率

←因此在出现一个红球的情况下，选择的是

验概就可修

甲箱子的先验概率就可被修正为：

←P(甲|红球1) = 0.7 ×0.5 / (0.7 ×0.5 + 0.3 ×0.5) = 0.7

0305)=07

←这表明，来自甲箱子的概率是0.7。也就是说，取出红球之后，甲箱子的可能性得到了增强。