10 北航6系研究生课程 机器学习 课件 张兆翔
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
大家回去好好复习，受益终身。
建议概率：
根据
产生采样
接受概率：
Gibbs采样：Gaussian Distribution
Slice采样
Metropolis采样的缺点
步长太短：走得太慢（可能随机散步）； 步长太长：拒绝率很高，效率较差；
Slice采样可以自适应的调整步长 Slice是个啥？切片u 从而将z空间扩展成(z, u)空间
Slice采样
第一步 给定 ，在 第二步 给定 ，在
范围内均匀分布产生 范围内均匀分布产生
Slice采样
在实际应用中，很难确定范围
第一步 给定 ，在
范围内均匀分布产生
第二步 给定 ，在
范围内均匀分布产生
如何体现自适应
采样方法
采样是个很难的问题; 采样很重要？
比如说最热门的物体跟踪算法； 比如说三体运动；
回顾拒绝采样
第一步、根据 第二步、根据
产生
产生
最后，从
中按照
的概率产生新的L个样本
蒙特卡洛采样
啥是蒙特卡洛？
蒙特卡罗（Monte Carlo）是世界著名的 赌城，是摩纳哥的标志。富丽堂皇的蒙地 卡罗赌场，建于一八六三年，是一 幢古 色古香以及巍峨的宫殿式建筑物，再加上 山明水秀，使游客抵达门前，立即发生好 感。门前有一大片广场，是一个花圃，一 草一木都修剪整齐，鲜花盛放，七彩缤 纷，园旁有一停车场，园尽处一间宫殿式 的建筑便是闻名世界的蒙地卡罗赌场了。 登台阶入门，站着警卫把守。照摩纳哥法律，本国人不准入内赌博， 观光客自然欢迎，然后凭护照交十法朗便成为［一日］的［会员］， 凭此证才能进入赌场。场内气派堂皇，墙上的装饰与帷幕，加上白天 也亮的钻石般闪烁的水晶灯，满铺的红 地毯烘托着，穿着整齐礼服的 侍者，气氛上是不同凡响。内有适合歌剧表演的大舞台，再过一道门 进入一间大厅，便是著名的赌场了。
一种特殊的Metropolis‐Hastings采样算法 针对多元分布进行处理
每次只改变一个维度上的值，保持其他维度不变
在第 步，假设已产生
根据
产生
根据 根据
产生 产生
Gibbs采样
边缘分布 条件分布
没有变化； 满足要求；
Gibbs采样与Metropolis‐Hastings采样的关系
用 去逼近
已知 未知
拒绝采样(Reject Sampling)
1. 从 产生
2. wk.baidu.com 中产生
均匀分布
3.
拒绝；
否则接收作为采样
被拒绝的概率
自适应拒绝采样(Adaptive Reject Sampling)
在实际场合中， 很难获得。 特别是 为log凸函数时，可采用ARS
如果满足，接收 如果拒绝，重新逼近
蒙特卡洛采样法
注：不能够准确知道 ，而只能知道比例
首先产生一个采样点 ；
根据建议概率
产生新的采样点 ；
依次类推，产生马尔可夫链
；
要求
尽可能简单，便于产生采样点；
有一个准则去决定是接受还是拒绝产生的采样点
Metropolis采样方法(1953年)
建议概率：
接受概率：
在(0,1)的均匀分布上获得采样点 ；
如果
接受，否则拒绝；
特例：随机散步(Random Walk)
走的距离正比于 的平方根，走得太慢
马尔可夫链
第一要素：初始状态 第二要素：转移矩阵
保持不变性
如果
齐次MC
Metropolis‐Hastings算法
建议概率：
根据
产生采样
接受概率：
是否满足不变性
如果
Gibbs采样(1984)
重要性采样(Importance Sampling)
同样借助于一个易于采样的
注：很多情况下不能够准确知道 ，而只能知道比例
重要性采样(Importance Sampling)
注：很多情况下不能够准确知道 ，而只能知道比例
重要性采样(Importance Sampling)
重要性重采样(Sampling‐Importance‐Resampling)
机器学习 第十讲
张兆翔
课程回顾
基本采样法(Basic Sampling)
思想：从基本概率分布产生新变量的分布
Uniform distribution:
Gaussian distribution:
拒绝采样(Reject Sampling)
假设：对一个很复杂的 进行采样。不能给出具体的 解析形式，但是每个 可以估算其比例。
建议概率：
根据
产生采样
接受概率：
Gibbs采样：Gaussian Distribution
Slice采样
Metropolis采样的缺点
步长太短：走得太慢（可能随机散步）； 步长太长：拒绝率很高，效率较差；
Slice采样可以自适应的调整步长 Slice是个啥？切片u 从而将z空间扩展成(z, u)空间
Slice采样
第一步 给定 ，在 第二步 给定 ，在
范围内均匀分布产生 范围内均匀分布产生
Slice采样
在实际应用中，很难确定范围
第一步 给定 ，在
范围内均匀分布产生
第二步 给定 ，在
范围内均匀分布产生
如何体现自适应
采样方法
采样是个很难的问题; 采样很重要？
比如说最热门的物体跟踪算法； 比如说三体运动；
回顾拒绝采样
第一步、根据 第二步、根据
产生
产生
最后，从
中按照
的概率产生新的L个样本
蒙特卡洛采样
啥是蒙特卡洛？
蒙特卡罗（Monte Carlo）是世界著名的 赌城，是摩纳哥的标志。富丽堂皇的蒙地 卡罗赌场，建于一八六三年，是一 幢古 色古香以及巍峨的宫殿式建筑物，再加上 山明水秀，使游客抵达门前，立即发生好 感。门前有一大片广场，是一个花圃，一 草一木都修剪整齐，鲜花盛放，七彩缤 纷，园旁有一停车场，园尽处一间宫殿式 的建筑便是闻名世界的蒙地卡罗赌场了。 登台阶入门，站着警卫把守。照摩纳哥法律，本国人不准入内赌博， 观光客自然欢迎，然后凭护照交十法朗便成为［一日］的［会员］， 凭此证才能进入赌场。场内气派堂皇，墙上的装饰与帷幕，加上白天 也亮的钻石般闪烁的水晶灯，满铺的红 地毯烘托着，穿着整齐礼服的 侍者，气氛上是不同凡响。内有适合歌剧表演的大舞台，再过一道门 进入一间大厅，便是著名的赌场了。
一种特殊的Metropolis‐Hastings采样算法 针对多元分布进行处理
每次只改变一个维度上的值，保持其他维度不变
在第 步，假设已产生
根据
产生
根据 根据
产生 产生
Gibbs采样
边缘分布 条件分布
没有变化； 满足要求；
Gibbs采样与Metropolis‐Hastings采样的关系
用 去逼近
已知 未知
拒绝采样(Reject Sampling)
1. 从 产生
2. wk.baidu.com 中产生
均匀分布
3.
拒绝；
否则接收作为采样
被拒绝的概率
自适应拒绝采样(Adaptive Reject Sampling)
在实际场合中， 很难获得。 特别是 为log凸函数时，可采用ARS
如果满足，接收 如果拒绝，重新逼近
蒙特卡洛采样法
注：不能够准确知道 ，而只能知道比例
首先产生一个采样点 ；
根据建议概率
产生新的采样点 ；
依次类推，产生马尔可夫链
；
要求
尽可能简单，便于产生采样点；
有一个准则去决定是接受还是拒绝产生的采样点
Metropolis采样方法(1953年)
建议概率：
接受概率：
在(0,1)的均匀分布上获得采样点 ；
如果
接受，否则拒绝；
特例：随机散步(Random Walk)
走的距离正比于 的平方根，走得太慢
马尔可夫链
第一要素：初始状态 第二要素：转移矩阵
保持不变性
如果
齐次MC
Metropolis‐Hastings算法
建议概率：
根据
产生采样
接受概率：
是否满足不变性
如果
Gibbs采样(1984)
重要性采样(Importance Sampling)
同样借助于一个易于采样的
注：很多情况下不能够准确知道 ，而只能知道比例
重要性采样(Importance Sampling)
注：很多情况下不能够准确知道 ，而只能知道比例
重要性采样(Importance Sampling)
重要性重采样(Sampling‐Importance‐Resampling)
机器学习 第十讲
张兆翔
课程回顾
基本采样法(Basic Sampling)
思想：从基本概率分布产生新变量的分布
Uniform distribution:
Gaussian distribution:
拒绝采样(Reject Sampling)
假设：对一个很复杂的 进行采样。不能给出具体的 解析形式，但是每个 可以估算其比例。