王珏-结构+平均-读Daphne Koller的“概率图模型”

Intelligence
SAT
Letter
因子
完全图
Machine Learning and Data Mining 2009
中 国 科 学 院 自 动 化 研 究 所
LettБайду номын сангаасr Grade difficulty
图上的独立性
Intelligence
P(I,D,G,L,S) = P(I) P(I) I与D相互独立 与 相互独立 P(D | I) P(G | I, D)
中 国 科 学 院 自 动 化 研 究 所
概率图模型
Bayes网(Bayesian Network, BN)，有向图 网 ， Markov网(Markov Network, MN)，无向图 网 ， 各种局部概率模型(CPD) 各种局部概率模型
Machine Learning and Data Mining 2009
中国科学院自动化研究所
Machine Learning and Data Mining 2009
致谢
在我准备这个“笔记”之前，王飞跃、宗成庆和我的 个 在我准备这个“笔记”之前，王飞跃、宗成庆和我的12个 学生参加了我们的一个讨论班，大家一起通读了Koller的这 学生参加了我们的一个讨论班，大家一起通读了 的这 本书。这个讨论班对我准备这个“笔记”有很大的帮助， 本书。这个讨论班对我准备这个“笔记”有很大的帮助， 这些学生是：王飞跃教授的学生，顾原、周建英、陈诚和 这些学生是：王飞跃教授的学生，顾原、周建英、 李泊；宗成庆教授的学生，庄涛和夏睿；我的学生韩彦军、 李泊；宗成庆教授的学生，庄涛和夏睿；我的学生韩彦军、 马奎俊、孙正雅、黄羿衡和吴蕾，以及吴高巍博士。 马奎俊、孙正雅、黄羿衡和吴蕾，以及吴高巍博士。在此 表示谢意。 表示谢意。特别感谢韩素青和韩彦军帮助我检查和修改了 全部ppt。 全部 。
P(L | I, D, G)
SAT
P(D) P(G | I, D)
P(L | G)
P(S | I)
L只与 有关，与其他独立 只与G有关 只与 有关， S只与 有关，与其他独立 P(S | I, D, G, L) 只与I有关 只与 有关，
讲座分为五个部分， 讲座分为五个部分，开头一个引 子，说明讲座的动机，最后一个 说明讲座的动机， 结束语， 结束语，从历史发展的角度讨论 关注概率图模型的原因， 关注概率图模型的原因，中间三 个部分，介绍Koller这本书的三 个部分，介绍 这本书的三 个部分：表示(representation)、 个部分：表示 、 推断(inference)和学习 和学习(learning) 推断 和学习 的基本思想和主要方法。 的基本思想和主要方法。
Machine Learning and Data Mining 2009
中 国 科 学 院 自 动 化 研 究 所
问题本身的语义
课程难易程度与考试分数有关。 课程难易程度与考试分数有关。 学生智力与考试成绩有关。 学生智力与考试成绩有关。 学生智力与SAT有关。 有关。 学生智力与 有关 考试成绩与“推荐信强弱”有关。 考试成绩与“推荐信强弱”有关。 AI方案充分考虑了这种语义， 方案充分考虑了这种语义， 方案充分考虑了这种语义 但是， 但是，将这种语义强化到唯 一表示程度(当且仅当 当且仅当)， 一表示程度 当且仅当 ，缺 失灵活性。 失灵活性。 这种语义可以根据统 计分布获得， 计分布获得，也可以 根据常识经验获得。 根据常识经验获得。
单纯结构或单纯平均需要满足严厉的条件， 单纯结构或单纯平均需要满足严厉的条件，否则无效
Machine Learning and Data Mining 2009
中 国 科 学 院 自 动 化 研 究 所
书中“学生” 书中“学生”的例子
课程(D:{难=0，易=1}) 难 ， 课程 考试(G: {A, B, C}) 考试 推荐(L: {强=0，弱=1})。 推荐 强 ， 。 智力(I: 聪明 聪明=0，一般=1}) 智力 {聪明 ，一般 SAT (S: {好=0，坏=1}) 好 ， 以推荐作为查询变量(L) 以推荐作为查询变量 构造一个函数： 构造一个函数：L = f (β,D,I,G,S) β 观察一组学生，获得样本集。 观察一组学生，获得样本集。基函 数 L = β 1D + β 2I + β 3G + β 4S 设计算法，确定β 获得模型。 设计算法，确定β，获得模型。 问题：模型为真需要多少样本， 问题：模型为真需要多少样本，对 高维数据，不知道！ 高维数据，不知道！模型不可解释 这就是统计机器学习遇到的难题。 这就是统计机器学习遇到的难题。 可以泛化，精度未知，不可解释。 可以泛化，精度未知，不可解释。
中 国 科 学 院 自 动 化 研 究 所
从联合分布构造Bayes网(BN) 网 从联合分布构造
学生问题，五个变量排成一个任意的序： 学生问题，五个变量排成一个任意的序：{I, D, G, L, S}， ， 其联合分布(左 ，对应的完全BN(右)： 其联合分布 左)，对应的完全 右： P(I, D, G, S, L) = difficulty P(I) 构造Bayes网 构造 网 P(D | I) Grade P(G | I, D) 节点G上的条件概率分布 上的条件概率分布(CPD) 节点 上的条件概率分布 P(L | I, D, G) P(S | I, D, G, L)
ML强调给定变量集合张成的空间上计算平均的方法，抹煞 强调给定变量集合张成的空间上计算平均的方法， 强调给定变量集合张成的空间上计算平均的方法 变量之间的结构； 强调变量的独立性 强调变量的独立性， 变量之间的结构；AI强调变量的独立性，忽视变量之间的条 件独立关系。是否可将变量子集(甚至一个变量 的局部分布， 甚至一个变量)的局部分布 件独立关系。是否可将变量子集 甚至一个变量 的局部分布， 根据变量之间内在的结构， 根据变量之间内在的结构，转变为对变量集合整体的联合分 这样，就可以既顾及了变量之间存在结构， 布。这样，就可以既顾及了变量之间存在结构，又考虑了平 均的必要性。概率图模型应该是一个这样的方案。 均的必要性。概率图模型应该是一个这样的方案。
中国科学院自动化研究所
Machine Learning and Data Mining 2009
一、引子 二、表示 三、推断 四、学习 五、结束语
中国科学院自动化研究所
Machine Learning and Data Mining 2009
Machine Learning and Data Mining 2009
中国科学院自动化研究所
Machine Learning and Data Mining 2009
Machine Learning and Data Mining 2009
中 国 科 学 院 自 动 化 研 究 所
标题， 与 标题，AI与ML
采用“结构 平均 作为标题，没有使用“结构+统计 平均” 统计” 采用“结构+平均”作为标题，没有使用“结构 统计”或 人工智能+统计学 统计学” 概率” 结构” 者“人工智能 统计学”，或“图+概率”。“结构”与 概率 统计”似乎不具有同等地位， 人工智能” 统计学” “统计”似乎不具有同等地位，“人工智能”与“统计学” 水火不相容， 概率” 水火不相容，“图+概率”直观确切，其本质对应“结构” 概率 直观确切，其本质对应“结构” 平均” 对中文， 结构+平均 更美一些。 平均” 与“平均”，对中文，“结构 平均”更美一些。 思考：人工智能 与统计机器学习(ML)是否存在一个结 思考：人工智能(AI)与统计机器学习 与统计机器学习 是否存在一个结 合点。但是，在理念上， 强调因果率 结构)， 强调因果率(结构 合点。但是，在理念上，AI强调因果率 结构 ，不惜对排中 率破缺，统计方法强调排中率，不惜对因果率破缺， 率破缺，统计方法强调排中率，不惜对因果率破缺，两者 水火不相容。鉴于两者均已遇到根本性困难， 水火不相容。鉴于两者均已遇到根本性困难，有没有一种 折衷的理念。Koller这本书应该是这种折中的理念。 折衷的理念。 这本书应该是这种折中的理念。 这本书应该是这种折中的理念
中国科学院自动化研究所 模式识别国家重点实验室 2011年4月7日 年 月 日
结构+平均 结构 平均
---读Daphne Koller的“概率图模型” 读 的 概率图模型”
王珏
中国科学院自动化研究所
Machine Learning and Data Mining 2009
一、引子 二、表示 三、推断 四、学习 五、结束语
A
图的结构(不完全连接 图的结构 不完全连接) 不完全连接
B
B
C
D
E
D
E
统计上条件独立---因子 统计上条件独立 因子
条件独立的集合(I-map)成为图结构的表征。 成为图结构的表征。 条件独立的集合 成为图结构的表征 联合分布与边缘分布是图结构的概率描述
Machine Learning and Data Mining 2009
统计学习方案完全不考虑这 种语义，尽管具有灵活性(泛 种语义，尽管具有灵活性 泛 化)，但是，需要充分的观察 ，但是， 样本。 样本。
两者的共同代价是：维数灾难。前者， 两者的共同代价是：维数灾难。前者，需要考虑所有可能 的组合的规则集合，后者，需要考虑充分的样本集合。 的组合的规则集合，后者，需要考虑充分的样本集合。
Machine Learning and Data Mining 2009
中 国 科 学 院 自 动 化 研 究 所
极端的例子
对任意三角形识别(最简单的图形 ，如果采用句法(单纯结 对任意三角形识别 最简单的图形)，如果采用句法 单纯结 最简单的图形 方法， 算法。 构)方法，需要“上下文敏感文法”描述，没有 方法 需要“上下文敏感文法”描述，没有Parsing算法。 算法 成都地区暴雨预报，十年的数据。神经网络 平均 平均)， 成都地区暴雨预报，十年的数据。神经网络(平均 ，获得模 验证，误报5%。误报中有一个样本，预报大暴雨， 型，验证，误报 。误报中有一个样本，预报大暴雨，实 际是晴天，各种因素均说明有暴雨，但是， 际是晴天，各种因素均说明有暴雨，但是， 湿度指标低，没有水！当然没有暴雨！ 湿度指标低，没有水！当然没有暴雨！平均将这个重要指 标与其他指标一起平均了。小学生不会犯的差错(80年代末 年代末) 标与其他指标一起平均了。小学生不会犯的差错 年代末