第11章++概率图模型(上)

第11章概率图模型

王泉

中国科学院大学网络空间安全学院

2016年11月

•11.1概述

•11.2有向图模型：贝叶斯网络•11.3 无向图模型：马尔可夫随机场•11.4 学习与推断

•11.5 隐马尔可夫模型

•11.6 条件随机场

•11.7 话题模型

•11.1概述

•11.2有向图模型：贝叶斯网络•11.3 无向图模型：马尔可夫随机场•11.4 学习与推断

•11.5 隐马尔可夫模型

•11.6 条件随机场

•11.7 话题模型

•桌上有两个信封，其中一个信封装有一个红球（100美元）和一个黑球，另外一个信封装有两个黑球

•你随机选了一个信封并从中随机取出一个球，发现是黑球•这时你被告知可以有一次换信封重新取球的机会，你会选择换还是不换？

•随机变量E∈1,0,B∈红,黑

⁄

•P E=1=P E=0=12

⁄,P B=红E=0=0 •P B=红E=1=12

•随机变量E∈1,0,B∈红,黑

⁄

•P E=1=P E=0=12

⁄,P B=红E=0=0 •P B=红E=1=12

⁄?•实际上我们考察：P E=1B=黑≥12

•随机变量E∈1,0,B∈红,黑

⁄

•P E=1=P E=0=12

⁄,P B=红E=0=0

•P B=红E=1=12

⁄?

•实际上我们考察：P E=1B=黑≥12

P E=1B=黑=B=黑E=1E=1=13换!!

•随机变量E∈1,0,B∈红,黑

•P E=1=P E=0=12

⁄

•P B=红E=1=12

⁄,P B=红E=0=

P E=1P E=0 12⁄12⁄

•基于西瓜的相关属性预测他们是不是好瓜

X1≔色泽∈乌黑,青绿,浅白X2≔根蒂∈蜷缩,稍蜷,硬挺X3≔敲声∈沉闷,浊响,清脆X4≔纹理∈清晰,稍糊,模糊X5≔脐部∈凹陷,稍凹,平坦X6≔触感∈硬滑,软粘

Y≔好瓜∈是,否

•基于西瓜的相关属性预测他们是不是好瓜

X1≔色泽∈乌黑,青绿,浅白X2≔根蒂∈蜷缩,稍蜷,硬挺X3≔敲声∈沉闷,浊响,清脆X4≔纹理∈清晰,稍糊,模糊X5≔脐部∈凹陷,稍凹,平坦X6≔触感∈硬滑,软粘Y

≔好瓜∈是,否无条件独立假设

•2×3×3×3×3×3×2=992

•基于西瓜的相关属性预测他们是不是好瓜

X1≔色泽∈乌黑,青绿,浅白X2≔根蒂∈蜷缩,稍蜷,硬挺X3≔敲声∈沉闷,浊响,清脆X4≔纹理∈清晰,稍糊,模糊X5≔脐部∈凹陷,稍凹,平坦X6≔触感∈硬滑,软粘

Y≔好瓜∈是,否无条件独立假设

•2×3×3×3×3×3×2=992朴素贝叶斯

•P Y X1,⋯,X6∝P Y∏P X i Y

6i=1

•2+6+6+6+6+6+4=36

•基于西瓜的相关属性预测他们是不是好瓜

X1≔色泽∈乌黑,青绿,浅白X2≔根蒂∈蜷缩,稍蜷,硬挺X3≔敲声∈沉闷,浊响,清脆X4≔纹理∈清晰,稍糊,模糊X5≔脐部∈凹陷,稍凹,平坦X6≔触感∈硬滑,软粘Y≔好瓜∈是,否

1,X2,X

P X i Y P Y

•概率图模型 (probabilistic graphical model) 是用图结构来表达随机变量依赖关系的概率模型

–节点：一个或一组随机变量

–边：随机变量之间的概率依赖关系

P E=1P E=0 12⁄12⁄

P

X i Y P Y

•有向图模型，也称贝叶斯网络 (Bayesian network) –以有向边表示变量间的“因果”关系 (causality)

•无向图模型，也称马尔可夫随机场 (Markov Random Field)–以无向边表示变量间的简单相关 (correlation)

有向图模型无向图模型

目录

•11.1概述

•11.2有向图模型：贝叶斯网络•11.3 无向图模型：马尔可夫随机场•11.4 学习与推断

•11.5 隐马尔可夫模型

•11.6 条件随机场

•11.7 话题模型

•图结构：有向无环图 (DAG)

–节点：一个或一组随机变量

–边：随机变量之间的单向、直接影响（疾病 症状）

YES NO

•图结构：有向无环图 (DAG)

–节点：一个或一组随机变量

–边：随机变量之间的单向、直接影响（疾病 症状）

•联合概率分布分解形式

–x ≔x 1,x 2,⋯,x n ； x πi 为 x i

P x =�P x i x πi n

i=1

P R=1P R=0 0.20.8

P G=1,S=1,R=1

=P G=1S=1,R=1P S=1R=1P R=1 =0.99×0.01×0.2=0.00198 G,S,R=P G

P G=1,S=1,R=0

=P G=1S=1,R=0P S=1R=0P R=0 =0.9×0.4×0.8=0.288

P R=1P R=0 0.20.8

G,S,R=

P S=1G=1

=P G=1,S=1

P G=1=∑P G=1,S=1,R

R∈1,0∑P G=1,S,R

S,R∈1,0

=0.00198+0.288

0.00198+0.288+0.1584+0.0≈0.6467 P R=1G=1

=P G=1,R=1

P G=1=∑P G=1,S,R=1

S∈1,0∑P G=1,S,R

S,R∈1,0

=0.00198+0.1584≈0.3577