第11章++概率图模型(上)

第11章概率图模型王泉中国科学院大学网络空间安全学院2016年11月•11.1概述•11.2有向图模型：贝叶斯网络•11.3 无向图模型：马尔可夫随机场•11.4 学习与推断•11.5 隐马尔可夫模型•11.6 条件随机场•11.7 话题模型•11.1概述•11.2有向图模型：贝叶斯网络•11.3 无向图模型：马尔可夫随机场•11.4 学习与推断•11.5 隐马尔可夫模型•11.6 条件随机场•11.7 话题模型•桌上有两个信封，其中一个信封装有一个红球（100美元）和一个黑球，另外一个信封装有两个黑球•你随机选了一个信封并从中随机取出一个球，发现是黑球•这时你被告知可以有一次换信封重新取球的机会，你会选择换还是不换？•随机变量E∈1,0,B∈红,黑⁄•P E=1=P E=0=12⁄,P B=红E=0=0 •P B=红E=1=12•随机变量E∈1,0,B∈红,黑⁄•P E=1=P E=0=12⁄,P B=红E=0=0 •P B=红E=1=12⁄?•实际上我们考察：P E=1B=黑≥12•随机变量E∈1,0,B∈红,黑⁄•P E=1=P E=0=12⁄,P B=红E=0=0•P B=红E=1=12⁄?•实际上我们考察：P E=1B=黑≥12P E=1B=黑=B=黑E=1E=1=13换!!•随机变量E∈1,0,B∈红,黑•P E=1=P E=0=12⁄•P B=红E=1=12⁄,P B=红E=0=P E=1P E=0 12⁄12⁄•基于西瓜的相关属性预测他们是不是好瓜X1≔色泽∈乌黑,青绿,浅白X2≔根蒂∈蜷缩,稍蜷,硬挺X3≔敲声∈沉闷,浊响,清脆X4≔纹理∈清晰,稍糊,模糊X5≔脐部∈凹陷,稍凹,平坦X6≔触感∈硬滑,软粘Y≔好瓜∈是,否•基于西瓜的相关属性预测他们是不是好瓜X1≔色泽∈乌黑,青绿,浅白X2≔根蒂∈蜷缩,稍蜷,硬挺X3≔敲声∈沉闷,浊响,清脆X4≔纹理∈清晰,稍糊,模糊X5≔脐部∈凹陷,稍凹,平坦X6≔触感∈硬滑,软粘Y≔好瓜∈是,否无条件独立假设•2×3×3×3×3×3×2=992•基于西瓜的相关属性预测他们是不是好瓜X1≔色泽∈乌黑,青绿,浅白X2≔根蒂∈蜷缩,稍蜷,硬挺X3≔敲声∈沉闷,浊响,清脆X4≔纹理∈清晰,稍糊,模糊X5≔脐部∈凹陷,稍凹,平坦X6≔触感∈硬滑,软粘Y≔好瓜∈是,否无条件独立假设•2×3×3×3×3×3×2=992朴素贝叶斯•P Y X1,⋯,X6∝P Y∏P X i Y6i=1•2+6+6+6+6+6+4=36•基于西瓜的相关属性预测他们是不是好瓜X1≔色泽∈乌黑,青绿,浅白X2≔根蒂∈蜷缩,稍蜷,硬挺X3≔敲声∈沉闷,浊响,清脆X4≔纹理∈清晰,稍糊,模糊X5≔脐部∈凹陷,稍凹,平坦X6≔触感∈硬滑,软粘Y≔好瓜∈是,否1,X2,XP X i Y P Y•概率图模型 (probabilistic graphical model) 是用图结构来表达随机变量依赖关系的概率模型–节点：一个或一组随机变量–边：随机变量之间的概率依赖关系P E=1P E=0 12⁄12⁄PX i Y P Y•有向图模型，也称贝叶斯网络 (Bayesian network) –以有向边表示变量间的“因果”关系 (causality)•无向图模型，也称马尔可夫随机场 (Markov Random Field)–以无向边表示变量间的简单相关 (correlation)有向图模型无向图模型目录•11.1概述•11.2有向图模型：贝叶斯网络•11.3 无向图模型：马尔可夫随机场•11.4 学习与推断•11.5 隐马尔可夫模型•11.6 条件随机场•11.7 话题模型•图结构：有向无环图 (DAG)–节点：一个或一组随机变量–边：随机变量之间的单向、直接影响（疾病 症状）YES NO•图结构：有向无环图 (DAG)–节点：一个或一组随机变量–边：随机变量之间的单向、直接影响（疾病 症状）•联合概率分布分解形式–x ≔x 1,x 2,⋯,x n ； x πi 为 x iP x =�P x i x πi ni=1P R=1P R=0 0.20.8P G=1,S=1,R=1=P G=1S=1,R=1P S=1R=1P R=1 =0.99×0.01×0.2=0.00198 G,S,R=P GP G=1,S=1,R=0=P G=1S=1,R=0P S=1R=0P R=0 =0.9×0.4×0.8=0.288P R=1P R=0 0.20.8G,S,R=P S=1G=1=P G=1,S=1P G=1=∑P G=1,S=1,RR∈1,0∑P G=1,S,RS,R∈1,0=0.00198+0.2880.00198+0.288+0.1584+0.0≈0.6467 P R=1G=1=P G=1,R=1P G=1=∑P G=1,S,R=1S∈1,0∑P G=1,S,RS,R∈1,0=0.00198+0.1584≈0.3577示例：朴素贝叶斯 •x =x 1,x 2,⋯,x n 特征向量；y 类别标签P y x =P x ,y P x ∝P y �P x i y n i=1普通变量关系图 盘式记法•D-分离准则 (D-separation criterion)：判断贝叶斯网络节点之间的条件独立性•D-分离准则 (D-separation criterion)：判断贝叶斯网络节点之间的条件独立性tail-to-tailA⊥B | C•D-分离准则 (D-separation criterion)：判断贝叶斯网络节点之间的条件独立性tail-to-tail A⊥B | C P A,B C=P A,B,C P C=C P A C P B CC =P A C P B C•D-分离准则 (D-separation criterion)：判断贝叶斯网络节点之间的条件独立性tail-to-tail A ⊥B | C head-to-tailA ⊥B | C•D-分离准则 (D-separation criterion)：判断贝叶斯网络节点之间的条件独立性tail-to-tail A ⊥B | C head-to-tailA ⊥B |C P A ,B C =P A ,B ,C P C =A P C A P B C C=A ,C B C P A C B C•D-分离准则 (D-separation criterion)：判断贝叶斯网络节点之间的条件独立性tail-to-tailA⊥B | Chead-to-tail head-to-headA⊥B | C A⊥B | C或其任意后代•给定节点集合A,B,C，若A中节点到B中节点的所有无向路径都是阻塞的 (blocked)，则称A和B被C D-分离 (D-separated)，即A和B关于C条件独立•若一条无向路径包含节点x满足以下条件之一，则称其是阻塞的–x是 tail-to-tail 或 head-to-tail 节点，并且x包含在C中–x是 head-to-head 节点，并且x及x的任意后代均不包含在C中•A和B是否关于C条件独立？A和B是否关于F条件独立？•A和B是否关于C条件独立？A和B是否关于F条件独立？•A和B是否关于C条件独立？A和B是否关于F条件独立？A⊥B | C•A和B是否关于C条件独立？A和B是否关于F条件独立？A⊥B | C•A和B是否关于C条件独立？A和B是否关于F条件独立？A⊥B | C A⊥B | F•给定节点集合A,B,C，若A中节点到B中节点的所有无向路径都是阻塞的 (blocked)，则称A和B被C D-分离 (D-separated)，即A和B关于C条件独立•若一条无向路径包含节点x满足以下条件之一，则称其是阻塞的–x是 tail-to-tail 或 head-to-tail 节点，并且x包含在C中–x是 head-to-head 节点，并且x及x的任意后代均不包含在C中•给定某变量的父节点，则该变量条件独立于其他所有非其后代节点x v⊥x V\v\DE v | x PA v•给定某变量的马尔可夫毯 (父节点、子节点、子节点的父节点)，则该变量条件独立于其他变量v v v目录•11.1概述•11.2有向图模型：贝叶斯网络•11.3 无向图模型：马尔可夫随机场•11.4 学习与推断•11.5 隐马尔可夫模型•11.6 条件随机场•11.7 话题模型•图结构：无向图–节点：一个或一组随机变量–边：随机变量之间的相互依赖（非“因果”关系）•图结构：无向图–节点：一个或一组随机变量–边：随机变量之间的相互依赖（非“因果”关系）•图结构：无向图–节点：一个或一组随机变量–边：随机变量之间的相互依赖（非“因果”关系）•联合概率分布分解形式–x ≔x 1,x 2,⋯,x n ； C 为团集合； x C 为团 C ∈C 对应的变量集合 –ψC 为定义在团 C 上的非负势函数 (potential function)–Z =∑∏ψC x C C∈C xP x =1Z �ψC x C C∈C–x1,x2∈−1,1；C=x1,x2为团；ψC x1,x2≔e ax1x2–Z=∑ψC x1,x2x1,x2=2e a+2e−a⁄–P x1,x2=1ZψC x1,x2=e ax1x22e a+2e−a–x 1,x 2∈−1,1；C =x 1,x 2 为团；ψC x 1,x 2≔e ax 1x 2 –Z =∑ψC x 1,x 2x 1,x 2=2e a +2e −a –P x 1,x 2=1Z ψC x 1,x 2=e ax 1x 22e a +2e−a ⁄–P 1,1=P −1,−1=e a 2e a +2e −a ⁄ –P 1,−1=P −1,1=e −a 2e a +2e −a ⁄示例：受限玻尔兹曼机隐单元ℎ∈0,1可见单元v∈0,1•团集合：v i,ℎj,v i,ℎj •ψv v i=exp a i v i •ψℎℎj=exp b jℎj •ψvℎv i,ℎj=exp w ij v iℎj示例：图像去噪观测图片像素点y i 原始图片像素点x i •团集合：x i,y i,x i,x j •ψxx x i,y i=expηi x i y i •ψxx x i,x j=expμij x i x j•给定节点集合A,B,C，若从A中的节点到B中的节点必须经过C中的节点，则称A和B被C分离，即A和B关于C条件独立A⊥B | C A⊥B | C•给定节点集合A,B,C，若从A中的节点到B中的节点必须经过C中的节点，则称A和B被C分离，即A和B关于C条件独立•局部马尔可夫性 (local Markov property)：给定某变量的马尔可夫毯 (邻接变量)，则该变量条件独立于其他变量x v⊥x V\v\MB v | x MB v•成对马尔可夫性 (pairwise Markov property)：给定其他所有变量，两个非邻接变量条件独立x u⊥x v | x V\u,v if u,v∉E目录•11.1概述•11.2有向图模型：贝叶斯网络•11.3 无向图模型：马尔可夫随机场•11.4 学习与推断•11.5 隐马尔可夫模型•11.6 条件随机场•11.7 话题模型。