贝叶斯网络(基础知识)

贝叶斯网络（基础知识）

1基本概率公理

1）命题

我们已经学过用命题逻辑和一阶谓词逻辑表达命题。在概率论中我们采用另外一种新的表达能力强于命题逻辑的命题表达方式，其基本元素是随机变量。

如：Weather=snow; Temperature=high, etc。

在概率论中，每个命题赋予一个信度，即概率

2）在随机现象中，表示事件发生可能性大小的一个实数称为事件的概率用P(A)表示。

如P(硬币＝正面)＝0.5。

3）在抛硬币这个随机现象中，落地后硬币的所有可能结果的集合构成样本空间。

4）P(A)具有以下性质:

0 ≤P(A) ≤1, P(A)+P(-A)=1

P(true) = 1 and P(false) = 0

P(A∨B) = P(A) + P(B) - P(A∧B)

(or, P(A∨B)=P(A)+P(B), if A∩B=Φ，即A,B互斥)

2随机变量

随机变量是构成语言的基本元素：如本书提到的天气、骰子、花粉量、产品、Mary，公共汽车，火车等等。

1）典型情况下，随机变量根据定义域的类型分成3类：

布尔随机变量：如：牙洞Cavity的定义域是

离散随机变量：如：天气Weather的定义域是

连续随机变量：如：温度Temperature的定义域是[0, 100]。

这里我们主要侧重于离散随机变量。

2）随机变量的性质

✓每个随机变量都有有限个状态，（即状态有限的定义域），且定义域中的值必须互斥。如天气变量的状态有：<晴朗、多云、雨、雪>，

✓并且每个状态都同一个实数相联系，该实数表明变量处于该状态时的概率。

如今天的天气情况：P(天气＝晴)＝0.8

P(天气＝多云)＝0.1

P(天气＝雨)＝0.1

P(天气＝雪)＝0。

或简单的写作：P(Weather)=<0.8,0.1,0.1,0>

✓变量的所有状态的概率取值构成这些状态的概率分布：

))

(),(),(()(21n v v v V P φφφ =

每个变量状态的概率值为0～1的实数，所有状态的概率和为1。

✓

3）很多情况下，许多随机事件的发生，是由多个因素决定的，即由多个随机变量确定。如：

X=低

X=中X＝高Y＝多云Y＝晴

0.50.010.010.2

0.19

0.09

其联合概率分布为P(X,Y)=⎥⎦

⎤

⎢

⎣⎡09.019.02.001.001.05.0 ,其所有项之和为1。

3先验和后验概率

1)与命题a 相关联的无条件概率或称为先验概率：是在没有任何其它信息存在的情况下关于命题a 的信度（概率），写做P(a)。 例如：关于命题的先验概率

P(Cavity=true)=0.1或者P(cavity)=0.1 P(Weather=sunny)=0.8 先验概率分布

P(Weather)=<晴，多云，雨，雪>＝<0.8,0.1,0.1,0>以及联合概率分布为P(X,Y)=⎥

⎦

⎤

⎢

⎣⎡09.019.02.001.001.05.0 注意：只有在不存在其他信息的情况下，才能够用先验概率P(a)来表示。

2)一旦得到了关于先前未知的、组成域的随机变量的某些证据，先验概率将不再可用了。我们就必须使用给定新信息关于a 的条件概率（后验概率）来表示和推理用符号P(A|B)来表示，其中A ，B 是任何命题，B 是和A 相关的条件。

如：P(cavity=true|toothache ＝true)＝0.8即对于一个患牙疼的病人，其有牙洞的概率是0.8

关于火车到达情况的概率P(火车)为先验概率分布（P(火车＝晚点)＝0.1是先验概率）。 而P(火车＝晚点|Mary=迟到)、P(火车＝晚点|Mary=迟到，公共汽车＝晚点)，在Mary 迟到和公共汽车晚点的基础上计算火车晚点的概率，是后验概率

条件概率可以根据无条件概率定义和计算：

P (a | b) = P (a ,b) / P(b)

而

P (a ,b) = P (a | b) P (b) = P(b | a) P(a)

称为乘法规则

可以理解为要使a 和b 同时为真，我们需要b 为真，而且我们需要在已知b 的条件下a 也为真。调换a ，b 的位置同理。

对于所有变量的所有状态取值我们可以用以下公式表示：

)

(

)

|

(

)

(

)

|

(

)

,

(X

P

X

Y

P

Y

P

Y

X

P

Y

X

P=

=

如

P(Cloud_cover,Pollen)=P(Cloud_cover | Pollen) P(Pollen) 对不同的变量取值得到以下联合概率分布情况

X=低X=中X＝高

Y＝多云Y＝晴0.50.010.01 0.20.190.09

P(Weather,Cavity) = P(Weather | Cavity) P(Cavity)

而任何一个概率查询都能从联合概率分布中得到解答。

如：教材p93关于p86页Mary上班迟到例子的联合概率分布表P(Mary，公共汽车，火车) 由该表我们可以计算如下情况：

P(公共汽车＝晚点|Mary=迟到)=P(公共汽车＝晚点，Mary=迟到)/P(Mary=迟到)

=(0.054＋0.027）/（0.0063+0.063+0.054+0.027）=0.054

同理，可以计算

P(火车＝晚点|Mary=迟到)＝0.6

P(火车＝晚点|Mary=迟到，公共汽车＝晚点)＝P(Mary=迟到，公共汽车＝晚点,火车＝晚点)/ P(公共汽车＝晚点,Mary=迟到)=(0.027)/( 0.027+0.054)=0.33

根据乘法规则，得到链式规则

P (X1, …, Xn) = P(Xn | X1,...,Xn-1)P(X1,...,Xn-1)

= P(Xn-1 | X1,...,Xn-2) P(Xn | X1,...,Xn-1)P(X1,...,Xn-2)

= …

= P(Xn-1 | X1,...,Xn-2) P(Xn | X1,...,Xn-1)P(X1,...,Xn-2) ...P(X2|X1)P(X1) 4决对独立性

P(A|B) = P(A) or P(B|A) = P(B) or P(A, B) = P(A) P(B)

即一件事情的发生和另一件事情没有关系，如下图

天气的情况对是否有牙洞没有关系，同样，是否长牙洞对天气没有影响，所以天气和牙洞之间是独立的。而toothache 和catch之间则满足条件独立性，见6

5贝叶斯法则

由乘法公式，我们得到

P (A | B) = P (A, B) / P (B)=(P(B|A)P(A))/P(B)

这就是著名的贝叶斯公式。

贝叶斯公式几乎是所有概率推理的现代人工智能系统的基础。这个式子同样表示一组公式，每个公式处理变量的特定取值。我们还有某些场合要在某个背景证据e上使用一个更通用版